Los fallos de la IA: de algoritmos sesgados a decisiones trágicas

A diferencia de los humanos, los modelos de IA no evolucionan con los cambios en los valores y normas sociales. Sus acciones son un reflejo directo de las instrucciones que les proporcionamos y son tan buenos como los datos con los que se entrenan. Si los datos contienen sesgos, los modelos inevitablemente reproducirán esos sesgos. Esto subraya la necesidad urgente de prácticas responsables en IA.

La IA responsable encarna el compromiso de desarrollar estas tecnologías de manera ética, transparente y responsable. Descuidar los principios de la IA responsable puede dar lugar a errores o injusticias.

Como ejemplo podemos considerar el caso de Eric L. Loomis, un hombre de Wisconsin (Estados Unidos) cuya sentencia a seis años de prisión se basó en el algoritmo secreto de una empresa privada. Loomis no tuvo acceso para inspeccionar o impugnar el informe del software, resaltando las preocupaciones sobre la transparencia en las decisiones de la IA.

El experimento de Amazon

Del mismo modo, el experimento de Amazon con la IA en la contratación favoreció inadvertidamente a candidatos masculinos, enfatizando las consecuencias no deseadas de los algoritmos de IA sesgados.

Otra limitación de la IA radica en la representatividad de los datos que recibe. Es imperativo cuestionar si los datos que proporcionamos son completos. Tomemos el ejemplo de un robot de seguridad llamado Steve, cuya caída accidental en una fuente en Washington, D.C. inicialmente generó sospechas de “suicidio robótico”. Sin embargo, un examen más detallado de los datos de Steve reveló que el percance fue causado por una falta de datos de entrenamiento.

De manera similar, investigadores de la Universidad de Tubinga (Alemania) descubrieron el comportamiento peculiar de una red neuronal entrenada para reconocer imágenes. Cuando se le pidió identificar una tenca, un tipo de pez, la red neuronal consistentemente destacaba las puntas de los dedos humanos contra un fondo verde. Este resultado extraño fue el resultado de la red neuronal, asociando la mayoría de las imágenes de tenca con personas sosteniendo el pez como un trofeo, careciendo de una comprensión más profunda de lo que realmente es una tenca.

Estos ejemplos pueden provocar risa, sin embargo, un grave incidente ocurrió en 2019 involucrando al Autopilot de Tesla, que trágicamente no reconoció un camión tráiler, resultando en una colisión fatal.

El sistema Autopilot de Tesla había aprendido predominantemente de datos involucrando autopistas y nunca había encontrado un camino perpendicular a la carretera, ya que es un escenario técnicamente imposible para las autopistas.

Este trágico incidente subraya la necesidad de que los sistemas de IA sean entrenados en una amplia gama de escenarios para garantizar su seguridad y eficacia.

Reconocimiento facial para predecir la orientación sexual

Otro desafío fundamental en el ámbito de la IA es el desarrollo de modelos basados en hipótesis razonables. Por ejemplo, consideremos la controversia en torno a la tecnología de reconocimiento facial. En un informe de la BBC, investigadores de la Universidad de Harrisburg (Estados Unidos) afirmaron que su software podía predecir si alguien es un criminal basándose únicamente en una fotografía de su rostro.

Otro ejemplo inquietante proviene de The Washington Post, donde investigadores utilizaron herramientas de reconocimiento facial para predecir la orientación sexual.

Además, la pregunta crítica no es solo sobre las capacidades de los modelos de IA, sino también sobre cómo los implementamos. Un caso notable es la renuncia del gobierno holandés después de un escándalo de beneficios. Un informe parlamentario encontró que las autoridades fiscales se dirigieron injustamente a familias de bajos ingresos en relación con los beneficios por cuidado de niños, llevando a la renuncia del primer ministro Mark Rutte y todo su gabinete.

Pero, a pesar de todos estos ejemplos, el ritmo al que las personas se están acostumbrando a la IA está superando las expectativas. Investigaciones recientes de la Universidad KU Leuven revelan que en Bélgica, hasta el 33 % de los individuos ya integran la IA en sus tareas diarias.

Esta tendencia sugiere un futuro donde la dependencia de la IA para la delegación de tareas solo crecerá, amplificando los desafíos previamente discutidos. Para mitigar estos problemas, es imperativo que la sociedad reciba una educación adecuada sobre las aplicaciones apropiadas de la IA, comprendiendo tanto sus capacidades como sus limitaciones.

Antes de implementar soluciones de IA para problemas del mundo real, debemos evaluarlas rigurosamente con preguntas críticas: ¿es legal? ¿Es conforme? ¿Es ético? Adoptar una hoja de ruta operacional para la ética en la era de las tecnologías disruptivas será crucial para navegar estos desafíos de manera efectiva.

Tetiana Klymchuk, Profesora de Data Science en la Universidad Internacional de Cataluña, Universitat Internacional de Catalunya

Este artículo fue publicado originalmente en The Conversation. Lea el original.