Resumen ejecutivo
Las empresas han utilizado históricamente grupos focales y encuestas para comprender cómo se sentían las personas. Ahora, la tecnología de IA emocional puede ayudar a las empresas a capturar las reacciones emocionales de los empleados y los consumidores en tiempo real, decodificando las expresiones faciales, analizando los patrones de voz, monitoreando los movimientos oculares y midiendo los niveles de inmersión neurológica, por ejemplo. El resultado final es una comprensión mucho mejor de los trabajadores y los clientes. Pero, debido a la naturaleza subjetiva de las emociones, la IA emocional es especialmente propensa al sesgo. La IA a menudo tampoco es lo suficientemente sofisticada como para comprender las diferencias culturales en la expresión y la lectura de las emociones, lo que dificulta la obtención de conclusiones precisas. Por ejemplo, una sonrisa podría significar una cosa en Alemania y otra en Japón. Confundir estos significados puede llevar a las empresas a tomar decisiones equivocadas. Imagine a un turista japonés que necesita ayuda mientras visita una tienda en Berlín. Utilizando el reconocimiento de emociones para priorizar a qué clientes apoyar, el asistente de la tienda podría confundir su sonrisa, una señal de cortesía en casa, como una indicación de que no necesitan ayuda. Si no se aborda, los prejuicios emocionales conscientes o inconscientes como este pueden perpetuar estereotipos y suposiciones a una escala sin precedentes.
¿Qué sienten realmente las personas?
Esto nunca ha sido fácil de determinar para las empresas. Por un lado, las emociones son inherentemente difíciles de leer. Por otro lado, a menudo hay una desconexión entre lo que las personas dicen sienten y lo que sienten en realidad .
Considera cómo la gente responde a los comerciales del Super Bowl. En 2018, los televidentes votaron “ Alexa pierde su voz ” de Amazon, donde las celebridades intentan (sin éxito) reemplazar a Alexa, como el mejor comercial, según el USA Today Ad Meter . El “ Groove ” de Diet Coke, que presentaba a una mujer bailando torpemente después de beber una lata de Diet Coke Twisted Mango, fue calificado como el peor comercial. Según esta encuesta, se podría concluir que el comercial de Alexa tuvo el mayor impacto. No es así, según Paul Zak, investigador de neurociencia y director ejecutivo de Immersion Neuroscience , cuyo equipo estudió la inmersión neurológica de las personas en los anuncios. El equipo de Zak evaluó el nivel de compromiso emocional de los espectadores midiendo los cambios en los niveles de oxitocina, la “firma neuronal de la resonancia emocional”. La investigación encontró que “Groove” en realidad tuvo un mayor impacto, prueba de que Zak demuestra que para los comerciales del Super Bowl, hay correlación cero “entre lo que dice la gente y cómo se siente inconscientemente.
Cuando entrevistamos a Zak sobre este fenómeno, lo resumió diciendo: “La gente miente, sus cerebros no”
Muchas empresas utilizan grupos focales y encuestas para comprender cómo se sienten las personas. Ahora, la tecnología de IA emocional puede ayudar a las empresas a capturar las reacciones emocionales en tiempo real, decodificando las expresiones faciales, analizando los patrones de voz, monitoreando los movimientos oculares y midiendo los niveles de inmersión neurológica, por ejemplo. El resultado final es una mejor comprensión de sus clientes, e incluso de sus empleados.
Los riesgos de sesgo en la IA emocional
Debido a la naturaleza subjetiva de las emociones, la IA emocional es especialmente propensa al sesgo. Por ejemplo, un estudio encontró que la tecnología de análisis emocional asigna más emociones negativas a personas de ciertas etnias que a otras. Considere las ramificaciones en el lugar de trabajo, donde un algoritmo que identifica constantemente a un individuo como exhibiendo emociones negativas podría afectar el progreso profesional.
Centro de información
AI y sesgo
Construyendo sistemas de aprendizaje automático justos y equitativos.
En resumen, si no se aborda, el sesgo emocional consciente o inconsciente puede perpetuar los estereotipos y suposiciones a una escala sin precedentes.
Cómo las empresas pueden evitar que el sesgo se filtre en casos de uso común
Según nuestra investigación y experiencia trabajando con clientes globales, vemos que las empresas utilizan la tecnología de IA emocional de cuatro maneras. A través de cada una, las implicaciones del sesgo algorítmico son un claro recordatorio de que los líderes empresariales y tecnológicos deben comprender y evitar que tales sesgos se filtren.
Comprender cuán emocionalmente comprometidos están realmente los empleados. Cuando la IA se usa para medir las emociones de los empleados, puede tener serios impactos sobre cómo se asigna el trabajo. Por ejemplo, los empleados a menudo piensan que están en el papel correcto, pero al intentar nuevos proyectos pueden encontrar que sus habilidades están mejor alineadas en otros lugares. Algunas compañías ya están permitiendo a los empleados probar diferentes roles una vez al mes para ver qué trabajos les gustan más. Aquí es donde el sesgo en la IA podría reforzar los estereotipos existentes. Por ejemplo, en los Estados Unidos, donde el 89% de los ingenieros civiles y el 81% de los supervisores policiales y de detectives de primera línea son hombres , un algoritmo que ha sido condicionado para analizar las características masculinas podría tener dificultades para leer las respuestas emocionales y niveles de compromiso entre las reclutas. Esto podría conducir a una asignación defectuosa de roles y decisiones de capacitación.
Mejorando la capacidad de crear productos que se adapten a las emociones del consumidor. Con el seguimiento de emociones, los desarrolladores de productos pueden aprender qué características provocan la mayor emoción y compromiso de los usuarios. Tomemos, por ejemplo, la plataforma Auto AI de Affectiva , que puede reconocer emociones como la alegría y la ira y adaptar el entorno de la cabina de un vehículo en consecuencia. Las cámaras y los micrófonos pueden detectar la somnolencia de los pasajeros y, como resultado, pueden bajar la temperatura o sacudir el cinturón de seguridad. Un asistente inteligente puede cambiar su tono en respuesta a un pasajero frustrado. Con la IA emocional, cualquier producto o servicio, ya sea en el automóvil o en otro lugar, puede convertirse en una experiencia adaptativa. Pero un ambiente sesgado y adaptable en la cabina podría significar que algunos pasajeros son malentendidos. Las personas mayores, por ejemplo, podrían ser identificadas erróneamente como fatiga del conductor (cuanto mayor es la edad de la cara, , menos probable es que las expresiones estén decodificadas con precisión). Y a medida que estos sistemas se vuelvan más comunes, las compañías de seguros querrán una parte de los datos. Esto podría significar primas más altas para las personas mayores, ya que los datos sugerirían que, a pesar de muchas indicaciones para descansar, el conductor siguió adelante.
Mejora de herramientas para medir la satisfacción del cliente. Empresas como la startup con sede en Boston Cogito están dando a las empresas las herramientas para ayudar a sus empleados a interactuar mejor con los clientes. Sus algoritmos no solo pueden identificar la “fatiga de la compasión” en los agentes de servicio al cliente, sino que también pueden guiar a los agentes sobre cómo responder a las personas que llaman a través de una aplicación. Un cliente molesto podría, por ejemplo, llamar para quejarse de un producto. Al grabar y analizar la conversación, la plataforma de Cogito sugeriría que el agente reduzca la velocidad o les indique cuándo mostrar empatía. Un algoritmo sesgado, tal vez sesgado por un acento o una voz más profunda, podría dar lugar a que algunos clientes reciban un trato mejor que otros, lo que aleja a los que llevan la peor parte del mal trato de la marca. Una persona que llama puede estar sujeta a menos empatía que una mujer, lo que refuerza las percepciones sociales de los hombres como “emocionalmente fuertes”. Por otro lado, una persona que llama puede verse como un negociador menos duro, lo que resulta en una menor compensación ofrecida. Irónicamente, los agentes en sí mismos pueden no tener estos prejuicios, pero nublados por la idea errónea de que los algoritmos son muy precisos, pueden seguir sus consejos a ciegas. De esta manera, los sesgos se propagan, sin cuestionar y sistemáticamente.
Transformando la experiencia de aprendizaje. Las ideas emocionales podrían usarse para aumentar la experiencia de aprendizaje en todas las edades. Podría, por ejemplo, permitir a los maestros diseñar lecciones que estimulen la participación máxima, colocando la información clave en los picos de participación y cambiando el contenido en los canales. También ofrece información sobre los propios estudiantes, ayudando a identificar quién necesita más atención. China ya está introduciendo sistemas de detección de emociones en las aulas para seguir la concentración de los estudiantes. Pero, si existen sesgos, sugerir erróneamente que alguien está desconectado podría dar lugar a experiencias de aprendizaje adaptadas a ciertos grupos en lugar de otros. Piense en diferentes estilos de aprendizaje : Algunas personas son aprendices visuales. Algunos aprenden haciendo. Otros favorecen la intensa concentración solitaria. Pero un algoritmo, tal vez diseñado por un alumno visual, podría omitir o malinterpretar por completo tales pistas. Las lecturas incorrectas de participación podrían afectar los resultados del aprendizaje hasta el lugar de trabajo, lo que significa que incluso en los programas de capacitación laboral, solo una fracción de los empleados puede disfrutar de un desarrollo profesional completo. Tales suposiciones erróneas podrían afectar los resultados del aprendizaje hasta el lugar de trabajo, lo que significa que incluso en los programas de capacitación laboral, solo una fracción de los empleados puede disfrutar de un desarrollo profesional completo.
Evitar sesgos en la IA
A medida que más y más empresas incorporen IA emocional en sus operaciones y productos, será imperativo que sean conscientes del potencial de sesgo y que trabajen activamente para prevenirlo.
Ya sea por la naturaleza subjetiva de las emociones, o por las discrepancias en las emociones, está claro que detectar emociones no es una tarea fácil. Algunas tecnologías son mejores que otras para rastrear ciertas emociones, por lo que combinar estas tecnologías podría ayudar a mitigar el sesgo. De hecho, un estudio de Nielsen que probó la precisión de las tecnologías de neurociencia como la codificación facial, la biometría y la electroencefalografía (EEG) descubrió que cuando se usa solo, los niveles de precisión estaban en 9%, 27% y 62% respectivamente . Cuando se combinan, los niveles de precisión se dispararon hasta el 77%. Probar los resultados con una encuesta llevó esto al 84%. Por lo tanto, tales combinaciones sirven como un control de la precisión de los resultados, un tipo de sistema de referencia.
Pero tomar en cuenta los matices culturales en los algoritmos requerirá más que simplemente combinar y hacer referencia a múltiples tecnologías. Tener equipos diversos que creen algoritmos emocionales de IA será crucial para mantener a raya el sesgo y capturar completamente la complejidad de las emociones. Esto significa no solo la diversidad de género y étnica, sino también la diversidad en el estado socioeconómico y las opiniones, negando cualquier cosa, desde la xenofobia a la homofobia al ageismo. Cuanto más diversas sean las entradas y los puntos de datos, es más probable que podamos desarrollar una IA que sea justa e imparcial.
Las empresas también deberán estar atentas para no perpetuar sesgos históricos al entrenar IA emocional. Si bien los datos históricos pueden usarse como base para entrenar a la IA en diferentes estados emocionales, se necesitarán datos en tiempo real y en vivo para el contexto. Tome sonrisas, por ejemplo. Un estudio mostró que de los 19 tipos diferentes de sonrisa, solo seis ocurren cuando las personas se lo están pasando bien. También sonreímos cuando nos sentimos doloridos, avergonzados e incómodos, distinciones que solo se pueden establecer con el contexto.
En resumen, la IA emocional será una herramienta poderosa que obligará a las empresas a reconsiderar sus relaciones con consumidores y empleados por igual. No solo ofrecerá nuevas métricas para comprender a las personas, sino que también redefinirá los productos tal como los conocemos. Pero a medida que las empresas incursionen en el mundo de la inteligencia emocional, la necesidad de evitar que se filtren los prejuicios será esencial. No actuar dejará a ciertos grupos sistemáticamente más incomprendidos que nunca, muy lejos de las promesas ofrecidas por la IA emocional.
Los autores desean agradecer a los colegas de Accenture Research Xiao Chang, Paul Barbagallo, Dave Light y H. James Wilson por sus importantes contribuciones a este artículo.
