Una nueva técnica permite que la IA combine conceptos igual o mejor que la mente humana

Tiempo de lectura estimado: 6 minutos

Los humanos tenemos la capacidad de aprender un concepto nuevo y, una vez adquirido, comprender los diferentes contextos y expresiones en los que se usa. Por ejemplo, cuando un niño o niña aprende qué significa “saltar”, también es capaz de saber de inmediato qué quiere decir“saltar dos veces alrededor de la habitación” o “saltar con las manos en alto”. Esta capacidad se denomina generalización composicional.

Ahora, investigadores de la New York University (NYU) y de la Universidad Pompeu Fabra (UPF) acaban de crear una técnica pionera que tiene el potencial de desarrollar la generalización composicional en los sistemas computacionales al mismo nivel que en los seres humanos o, en algunos casos, incluso a un nivel superior.

Los autores señalan que este descubrimiento, que puede servir para mejorar las capacidades de herramientas de inteligencia artificial (IA) generativa como el ChatGPT, se expone en un artículo publicado en Nature.

La tecnología desarrollada por los investigadores de la NYU y la UPF llega después de cerca de cuatro décadas de trabajo de la comunidad científica para desarrollar la capacidad de generalización composicional entre las máquinas. A finales de los ochenta, Jerry Fodor y Zenon Pylyshyn, filósofos y científicos cognitivos, ya plantearon que las redes neuronales artificiales –los motores que impulsan la inteligencia artificial y el aprendizaje automático– no son capaces de hacer estas conexiones o generalizaciones composicionales.

Desde entonces, se han desarrollado distintas formas de incentivar esta capacidad en las redes neuronales y tecnologías afines, pero con resultados desiguales. Así pues, a día de hoy, aún se mantiene vivo el debate sobre cómo lograrlo.

Según explica Brenden Lake, profesor del Centro de Ciencia de Datos y del Departamento de Psicología de la NYU y coautor del trabajo, en el nuevo estudio “hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación cara a cara”.

Un método pionero de entrenamiento de la IA

La técnica desarrollada se denomina Meta-learning for Compositionality (MLC), que se centra en entrenamiento de redes tecnológicas neuronales para mejorar la generalización composicional de los sistemas computacionales a través de la práctica.

Los creadores de los sistemas existentes hasta hoy, incluidos los modelos lingüísticos usados por tecnologías de IA generativa, partían del supuesto que la generalización composicional de las tecnologías surgiría a partir de métodos de entrenamiento estándar, o bien habían desarrollado arquitecturas especiales para lograr que las máquinas adquirieran estas capacidades. En cambio, la MLC muestra que las máquinas pueden desarrollar las habilidades de generalización composicional a partir de la práctica explícita de ejercicios que la ayuden a adquirirla.

Marco Baroni, investigador profesor e investigador ICREA de Ciencias del Lenguaje de la UPF y otro coautor del estudio, opina que “la tecnología MLC puede mejorar aún más las habilidades composicionales de los grandes modelos lingüísticos como ChatGPT, que siguen teniendo problemas con la generalización composicional, aunque hayan mejorado en los últimos años”. 

MLC parte de un innovador procedimiento de aprendizaje en el que una red neuronal se actualiza continuamente para mejorar sus habilidades a lo largo de una serie de fases. En una fase, la tecnología recibe una palabra nueva y se le pide que la utilice en nuevas composiciones. Por ejemplo, se le pide que tome la palabra "saltar" y luego cree nuevas combinaciones, como “saltar dos veces” o “saltar dos veces a la derecha”. A continuación, el MLC recibe, en una nueva fase, una palabra diferente, y así sucesivamente, mejorando cada vez las habilidades composicionales de la red.

Experimentos con participantes humanos

Para probar la eficacia de esta tecnología, Lake y Baroni han realizado una serie de experimentos con participantes humanos donde les planteaban tareas idénticas a las realizadas por el sistema MLC.

Además, en lugar de aprender el significado de palabras reales –términos que las personas ya conocerían–, tuvieron que aprender el significado de términos sin sentido (por ejemplo,“zup” y “dax”), definidos por los investigadores, y aprender a aplicarlos de distintas maneras.

El rendimiento del MLC fue igual de bueno, y en algunos casos mejor, que el de los participantes humanos. Tanto el MLC como las personas también superaron a ChatGPT y GPT-4, que, a pesar de mostrar capacidades sorprendes en términos generales, mostraron dificultades con esta tarea de aprendizaje vinculada a la generalización composicional”.