¿Por qué los líderes empresariales necesitan entender sus Algoritmos

Resumen ejecutivo

Una de las mayores fuentes de ansiedad sobre la IA no es que se volverá contra nosotros, sino que simplemente no podemos entender cómo funciona. Saber “por qué” es importante para muchas industrias, particularmente aquellas con obligaciones fiduciarias como las finanzas del consumidor, o en el cuidado de la salud y la educación, donde están involucradas vidas vulnerables. Los líderes, los clientes y los reguladores desafiarán cada vez más a los líderes para lo que optimizan. Habrá demandas que requieren que revele las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y métodos por los cuales obtuvo sus datos de capacitación y qué tan bien monitoreó los resultados de esos sistemas para trazas de sesgo o discriminación. Documente sus decisiones cuidadosamente y asegúrese de comprender, o al menos confiar, los procesos algorítmicos en el corazón de su negocio. Simplemente argumentando que su plataforma de IA era una caja negra que nadie entendió es poco probable que sea una defensa legal exitosa en el siglo XXI. Será tan convincente como “el algoritmo me obligó a hacerlo”.

  

  Una de las mayores fuentes de ansiedad sobre la IA no es que se volverá contra nosotros, sino que simplemente no podemos entender cómo funciona. La solución a los sistemas deshonestos que discriminan a las mujeres en las solicitudes de crédito o que hacen recomendaciones racistas en la sentencia penal , o que reducen el número de pacientes negros identificados que necesitan atención médica adicional , podría parecer una “IA explicable”. Pero a veces, ¿qué es tan importante como saber “por qué” un algoritmo tomó una decisión, es poder preguntar “para qué” se estaba optimizando en primer lugar?
  Los algoritmos de aprendizaje automático a menudo se denominan caja negra porque se asemejan a un sistema cerrado que recibe una entrada y produce una salida, sin ninguna explicación de por qué. Saber “por qué” es importante para muchas industrias, particularmente aquellas con obligaciones fiduciarias como las finanzas del consumidor, o en el cuidado de la salud y la educación, donde están involucradas vidas vulnerables, o en aplicaciones militares o gubernamentales, donde necesita poder justificar sus decisiones ante el electorado.
 

Centro de información

  Desafortunadamente, cuando se trata de plataformas de aprendizaje profundo, la explicabilidad es problemática. En muchos casos, el atractivo del aprendizaje automático reside en su capacidad para encontrar patrones que desafíen la lógica o la intuición. Si pudiera mapear una relación lo suficientemente simple entre entradas y salidas para explicarla, probablemente no necesitaría el aprendizaje automático en ese contexto. A diferencia de un sistema codificado a mano, no puede simplemente mirar dentro de una red neuronal y ver cómo funciona. Una red neuronal está compuesta por miles de neuronas simuladas, dispuestas en capas interconectadas que reciben señales de entrada y salida que luego se alimentan a la siguiente capa, y así sucesivamente hasta que se alcanza una salida final. Incluso si puede interpretar cómo funciona técnicamente un modelo en términos que un científico de IA podría comprender, explicando eso a un “tomador de decisiones civil” es otro problema por completo.
  Deep Patient, por ejemplo, es una plataforma de aprendizaje profundo en el Hospital Mount Sinai en Nueva York. Fue entrenado utilizando registros de salud electrónicos de 700,000 individuos , y se convirtió en experto en predecir enfermedades, descubriendo patrones ocultos en los datos del hospital que proporcionaban advertencias tempranas para pacientes con riesgo de desarrollar una amplia variedad de enfermedades, incluido el cáncer de hígado. , sin guía humana.
  Luego, para sorpresa de todos, Deep Patient también demostró su capacidad para predecir la aparición de ciertos trastornos psiquiátricos como la esquizofrenia , que son muy difíciles de predecir incluso para los médicos. El desafío para los profesionales médicos en este escenario es equilibrar el reconocimiento de la eficacia y el valor del sistema con saber cuánto confiar en él, dado que no lo entienden completamente o cómo funciona.
  Algunas organizaciones e industrias están invirtiendo en la capacidad de auditar y explicar sistemas de aprendizaje automático. La Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) está financiando actualmente un programa llamado IA explicable , cuyo objetivo es interpretar el aprendizaje profundo que impulsa los drones y las operaciones de minería de inteligencia. Capital One, que ha tenido sus propios problemas serios con las violaciones de datos, creó un equipo de investigación dedicado a encontrar formas de hacer que el aprendizaje profundo sea más explicable , ya que las regulaciones de los Estados Unidos requieren que este tipo de empresa explique decisiones tales como por qué denegó una tarjeta de crédito a un posible cliente.
  La regulación algorítmica probablemente se volverá más sofisticada en los próximos años, ya que el público comienza a preocuparse más abiertamente por el impacto de la IA en sus vidas. Por ejemplo, bajo el Reglamento General de Protección de Datos (GDPR), que entró en vigencia en 2018, la Unión Europea exige que las compañías puedan explicar una decisión tomada por uno de sus algoritmos. Podría decirse que en el futuro cercano, no podrá diseñar ningún tipo de IA sin un equipo de científicos de primer nivel y un equipo igualmente competente de ingenieros de privacidad y abogados.
  La razón de ser de la regulación algorítmica es la responsabilidad. Hacer que la IA sea más explicable no se trata solo de asegurar a los líderes que pueden confiar en decisiones algorítmicas; también se trata de proporcionar un recurso para que las personas desafíen las decisiones basadas en IA. De hecho, el tema de la transparencia algorítmica se aplica no solo al aprendizaje automático, sino también a cualquier algoritmo cuyo funcionamiento interno se mantenga oculto.
  Algoritmos que parecen estar sesgados o son oscuros en la forma en que funcionan ya han sido cuestionados en los tribunales. Por ejemplo, en 2014, la Federación de Maestros de Houston presentó una demanda contra el distrito escolar de Houston , argumentando que el uso del distrito de un algoritmo secreto para determinar cómo los maestros fueron evaluados, despedidos y recibieron bonos fue injusto. El sistema fue desarrollado por una empresa privada, que clasificó su algoritmo como secreto comercial y se negó a compartirlo con los maestros. Sin saber cómo fueron calificados, los maestros dijeron que se les negó el derecho de impugnar sus terminaciones o evaluaciones. Un tribunal de circuito descubrió que el software inexplicable violaba el derecho al debido proceso de la decimocuarta Enmienda de los maestros, y el caso fue finalmente resuelto en 2016, con el uso del algoritmo suspendido. En los próximos años, es probable que aumente el número de tales desafíos.
  Sin embargo, para los líderes, la pregunta más importante para los equipos que diseñan y crean soluciones automatizadas puede no ser por qué llegaron a una decisión en particular, sino qué están siendo optimizados ¿para? Los óptimos son importantes. Existe un experimento de pensamiento clásico propuesto por el filósofo sueco Nick Bostrom llamado Paperclip Maximizer . Describe cómo una IA podría terminar destruyendo el mundo después de haber recibido el objetivo de fabricar clips de papel de la manera más eficiente posible, “con la consecuencia de que comienza a transformar primero toda la tierra y luego aumenta las porciones de espacio en instalaciones de fabricación de clips de papel”. [19459004 ]  

La IA en el papel de Bostrom no es intrínsecamente malvada. Fue, en su opinión, simplemente dado el objetivo equivocado y sin restricciones. Los objetivos u optimismos incorrectos pueden causar muchos daños no deseados. Por ejemplo, un programa de IA que estableció horarios escolares y horarios de autobuses en Boston fue desechado después de una protesta de los padres que trabajaban y otros que objetaron que no tenía en cuenta sus horarios, y que parecía estar enfocado sobre eficiencia a expensas de la educación. ¿Pero fue culpa del programa? Después de todo, estaba codificado para buscar formas de ahorrar dinero. Sin embargo, a diferencia de las complejidades de construir e interpretar un modelo de inteligencia artificial, debatir y decidir para qué está optimizado un sistema está absolutamente dentro del conjunto de capacidades de los líderes empresariales y las juntas, y así debería ser.

  La IA es una herramienta que refleja nuestras prioridades, como organizaciones y gobiernos. Puede parecer frío discutir las muertes humanas en accidentes automovilísticos o laborales en términos de estadísticas, pero si decidimos que un sistema algorítmico debe diseñarse para minimizar los accidentes en su conjunto, también tenemos que juzgar cualquier daño resultante en el contexto del sistema reemplaza Pero al hacerlo, también tendremos que estar listos para ser juzgados por nosotros mismos, y listos para justificar nuestras decisiones y principios de diseño.
  Los líderes serán desafiados por los accionistas, clientes y reguladores sobre lo que optimizan. Habrá demandas que requieren que revele las decisiones humanas detrás del diseño de sus sistemas de IA, qué preocupaciones éticas y sociales tuvo en cuenta, los orígenes y métodos por los cuales obtuvo sus datos de capacitación y qué tan bien monitoreó los resultados de esos sistemas para trazas de sesgo o discriminación. Documente sus decisiones cuidadosamente y asegúrese de comprender, o al menos confiar, los procesos algorítmicos en el corazón de su negocio.
  Simplemente argumentando que su plataforma de IA era una caja negra que nadie entendió es poco probable que sea una defensa legal exitosa en el siglo XXI. Será tan convincente como “el algoritmo me obligó a hacerlo”.