“
¿Mi coche está alucinando? ¿Está paranoico el algoritmo que dirige el sistema de vigilancia policial de mi ciudad? A Marvin, el androide de la Guía del autoestopista galáctico de Douglas Adams, le dolían todos los diodos del lado izquierdo. ¿Es así como se siente mi tostadora?
Todo esto suena ridículo hasta que nos damos cuenta de que nuestros algoritmos se hacen cada vez más a nuestra imagen y semejanza. A medida que hemos ido aprendiendo más sobre nuestro propio cerebro, hemos utilizado ese conocimiento para crear versiones algorítmicas de nosotros mismos. Estos algoritmos controlan la velocidad de los coches sin conductor, identifican objetivos para los drones militares autónomos, calculan nuestra susceptibilidad a la publicidad comercial y política, encuentran nuestras almas gemelas en los servicios de citas en línea y evalúan nuestros riesgos de seguro y de crédito. Los algoritmos se están convirtiendo en el telón de fondo casi inteligente de nuestras vidas.
Los algoritmos más populares en la actualidad son los de aprendizaje profundo. Estos algoritmos reflejan la arquitectura del cerebro humano construyendo representaciones complejas de la información. Aprenden a comprender entornos experimentándolos, identifican lo que parece importante y averiguan qué predice qué. Al ser como nuestros cerebros, estos algoritmos corren cada vez más riesgo de sufrir problemas de salud mental.
Deep Blue, el algoritmo que venció al campeón mundial de ajedrez Garry Kasparov en 1997, lo hizo mediante fuerza bruta, examinando millones de posiciones por segundo, hasta 20 movimientos en el futuro. Cualquiera podía entender cómo funcionaba aunque no pudiera hacerlo por sí mismo. AlphaGo, el algoritmo de aprendizaje profundo que venció a Lee Sedol en el juego del Go en 2016, es fundamentalmente diferente. Utilizando redes neuronales profundas, creó su propia comprensión del juego, considerado el más complejo de los juegos de mesa. AlphaGo aprendió observando a otros y jugando él mismo. Tanto los informáticos como los jugadores de Go están desconcertados por el juego poco ortodoxo de AlphaGo. Al principio, su estrategia parece torpe. Sólo en retrospectiva entendemos lo que AlphaGo estaba pensando, e incluso entonces no está del todo claro.
Para que entiendas mejor lo que quiero decir con pensar, considera lo siguiente. Programas como Deep Blue pueden tener un error en su programación. Pueden bloquearse por sobrecarga de memoria. Pueden entrar en un estado de parálisis debido a un bucle interminable o simplemente escupir una respuesta errónea en una tabla de consulta. Pero todos estos problemas son solucionables por un programador con acceso al código fuente, el código en el que se escribió el algoritmo.
Algoritmos como AlphaGo son totalmente diferentes. Sus problemas no son evidentes al mirar su código fuente. Están incrustados en la forma en que representan la información. Esa representación es un espacio de alta dimensión en constante cambio, muy parecido a caminar por un sueño. Resolver los problemas en ese espacio requiere nada menos que un psicoterapeuta para algoritmos.
Tomemos el caso de los coches sin conductor. Un coche sin conductor que vea su primera señal de stop en el mundo real ya habrá visto millones de señales de stop durante el entrenamiento, cuando construyó su representación mental de lo que es una señal de stop. En distintas condiciones de luz, con buen y mal tiempo, con y sin agujeros de bala, las señales de stop a las que estuvo expuesto contienen una desconcertante variedad de información. En la mayoría de las condiciones normales, el coche sin conductor reconocerá una señal de stop por lo que es. Pero no todas las condiciones son normales. Algunas demostraciones recientes han mostrado que unas cuantas pegatinas negras en una señal de stop pueden engañar al algoritmo haciéndole creer que la señal de stop es una señal de 100 km/h. Sometido a algo espantosamente parecido a la sombra de alto contraste de un árbol, el algoritmo alucina.
¿De cuántas formas distintas puede alucinar el algoritmo? Para averiguarlo, tendríamos que proporcionar al algoritmo todas las combinaciones posibles de estímulos de entrada. Esto significa que hay infinitas formas posibles de que se equivoque. Los programadores de crack ya lo saben, y se aprovechan de ello creando lo que se llaman ejemplos adversarios. El grupo de investigación en IA LabSix del Instituto Tecnológico de Massachusetts ha demostrado que, presentando imágenes al algoritmo de clasificación de imágenes de Google y utilizando los datos que devuelve, pueden identificar los puntos débiles del algoritmo. De este modo, pueden hacer cosas similares a engañar al software de reconocimiento de imágenes de Google para que crea que una imagen de contenido X es sólo un par de cachorros jugando en la hierba.
Cómo engañar al algoritmo de clasificación de imágenes de Google.
Los algoritmos también cometen errores porque captan características del entorno que están correlacionadas con los resultados, aunque no exista una relación causal entre ellas. En el mundo algorítmico, esto se llama sobreajuste. Cuando esto ocurre en un cerebro, lo llamamos superstición.
El mayor fracaso algorítmico debido a la superstición que conocemos hasta ahora es la llamada parábola de Google Flu. Google Flu utilizaba lo que la gente escribía en Google para predecir la ubicación y la intensidad de los brotes de gripe. Las predicciones de Google Flu funcionaron bien al principio, pero fueron empeorando con el tiempo, hasta que finalmente predijo el doble de casos de los que se enviaron a los Centros para el Control de Enfermedades de EEUU. Al igual que un brujo algorítmico, Google Flu simplemente prestaba atención a las cosas equivocadas.
Las patologías algorítmicas podrían tener arreglo. Pero en la práctica, los algoritmos suelen ser cajas negras patentadas cuya actualización está protegida comercialmente. En Weapons of Math Destruction (2016), de Cathy O’Neil, se describe un verdadero espectáculo de algoritmos comerciales cuyas insidiosas patologías actúan colectivamente para arruinar la vida de las personas. La falla algorítmica que separa a los ricos de los pobres es especialmente convincente. Las personas más pobres tienen más probabilidades de tener mal crédito, de vivir en zonas de alta delincuencia y de estar rodeadas de otras personas pobres con problemas similares. Por ello, los algoritmos dirigen a estas personas anuncios engañosos que se aprovechan de su desesperación, les ofrecen préstamos de alto riesgo y envían más policías a sus barrios, aumentando la probabilidad de que sean detenidos por la policía por delitos cometidos en porcentajes similares en barrios más ricos. Los algoritmos utilizados por el sistema judicial condenan a estas personas a penas de prisión más largas, reducen sus posibilidades de libertad condicional, les impiden acceder a puestos de trabajo, aumentan los tipos de interés de sus hipotecas, exigen primas más elevadas para los seguros, etc.
Este algoritmo de la muerte es el mismo que utiliza el sistema judicial.
Esta espiral de muerte algorítmica se oculta en muñecos anidados de cajas negras: los algoritmos de caja negra que ocultan su procesamiento en pensamientos de alta dimensión a los que no podemos acceder se ocultan aún más en cajas negras de propiedad exclusiva. Esto ha llevado a algunos lugares, como la ciudad de Nueva York, a proponer leyes que obliguen a supervisar la imparcialidad de los algoritmos utilizados por los servicios municipales. Pero si no podemos detectar el sesgo en nosotros mismos, ¿por qué esperar detectarlo en nuestros algoritmos?
Al entrenar los algoritmos con datos humanos, aprenden nuestros prejuicios. Un reciente estudio dirigido por Aylin Caliskan en la Universidad de Princeton descubrió que los algoritmos entrenados en las noticias aprendían prejuicios raciales y de género esencialmente de la noche a la mañana. Como señaló Caliskan Mucha gente piensa que las máquinas no tienen prejuicios. Pero las máquinas se entrenan con datos humanos. Y los humanos son parciales.
Las redes sociales son un nido retorcido de prejuicios y odio humanos. Los algoritmos que pasan tiempo en las redes sociales se convierten rápidamente en fanáticos. Estos algoritmos tienen prejuicios contra los enfermeros y las ingenieras. Considerarán cuestiones como la inmigración y los derechos de las minorías de formas que no resisten la investigación. Si se les diera media oportunidad, deberíamos esperar que los algoritmos trataran a las personas tan injustamente como las personas se tratan entre sí. Pero los algoritmos son, por construcción, demasiado confiados, sin sentido de su propia infalibilidad. A menos que se les entrene para ello, no tienen motivos para cuestionar su incompetencia (al igual que las personas).
FPara los algoritmos que he descrito antes, sus problemas de salud mental provienen de la calidad de los datos con los que han sido entrenados. Pero los algoritmos también pueden tener problemas de salud mental por la forma en que se construyen. Pueden olvidar cosas antiguas cuando aprenden información nueva. Imagina que aprendes el nombre de un nuevo compañero de trabajo y de repente olvidas dónde vives. En el extremo, los algoritmos pueden sufrir lo que se llama olvido catastrófico, en el que todo el algoritmo ya no puede aprender ni recordar nada. Una teoría del declive cognitivo humano relacionado con la edad se basa en una idea similar: cuando la memoria se sobrepobla, tanto los cerebros como los ordenadores de sobremesa necesitan más tiempo para encontrar lo que saben.
Cuándo las cosas se vuelven patológicas suele ser una cuestión de opinión. Como resultado, las anomalías mentales en los seres humanos suelen pasar desapercibidas. Sinestésicos como mi hija, que percibe las letras escritas como colores, a menudo no se dan cuenta de que tienen un don perceptivo hasta la adolescencia. Las pruebas basadas en los patrones de habla de Ronald Reagan ahora sugieren que probablemente padeció demencia mientras ocupó la presidencia de EEUU. Y The Guardian informa de que los tiroteos masivos que se han producido cada nueve de cada diez días durante aproximadamente los últimos cinco años en EE.UU. son a menudo perpetrados por personas supuestamente “normales” que se quiebran bajo sentimientos de persecución y depresión.
En muchos casos, hacen falta repetidas disfunciones para detectar un problema. El diagnóstico de esquizofrenia requiere al menos un mes de síntomas bastante debilitantes. El trastorno antisocial de la personalidad, término moderno para designar la psicopatía y la sociopatía, no puede diagnosticarse en las personas hasta que cumplen 18 años, y sólo si existen antecedentes de trastornos de conducta antes de los 15 años.
No existen biomarcadores para la mayoría de los trastornos mentales, igual que no hay errores en el código de AlphaGo. El problema no está en nuestro hardware. Está en nuestro software. Las muchas formas en que nuestras mentes van mal hacen que cada problema de salud mental sea único en sí mismo. Los clasificamos en categorías amplias como esquizofrenia y síndrome de Asperger, pero la mayoría son trastornos del espectro que abarcan síntomas que todos compartimos en distintos grados. En 2006, los psicólogos Matthew Keller y Geoffrey Miller argumentaron que se trata de una propiedad inevitable de la forma en que están construidos los cerebros.
Hay muchas cosas que pueden ir mal en mentes como la nuestra. Carl Jung sugirió una vez que en todo hombre cuerdo se esconde un lunático. A medida que nuestros algoritmos se parecen más a nosotros mismos, cada vez es más fácil esconderse.
”
•••
Es catedrático de Psicología en la Universidad de Warwick y miembro del Instituto Alan Turing. Vive en Coventry (Reino Unido)
.
