El Proyecto BIG-bench y el Comportamiento de «Avance»
El proyecto Beyond the Imitation Game benchmark (BIG-bench), una iniciativa que ha contado con la participación de 450 investigadores, ha desarrollado 204 tareas con el propósito de evaluar los modelos de lenguaje a gran escala. Los resultados han evidenciado una mejora predecible en la mayoría de las tareas a medida que los modelos se escalan. No obstante, algunas tareas han revelado un salto abrupto en la habilidad, un fenómeno que los investigadores han denominado como comportamiento de «avance».
Este comportamiento de «avance» se ha comparado con una transición de fase en física. Un estudio publicado en agosto de 2022 indica que estos comportamientos son sorprendentes e impredecibles. Este fenómeno ha adquirido relevancia en las discusiones sobre seguridad, potencial y riesgo de la Inteligencia Artificial (IA). Las habilidades que se manifiestan en este comportamiento se describen como «emergentes», es decir, surgen solo cuando el sistema alcanza un alto nivel de complejidad.
Críticas a la Teoría de la Emergencia
Sin embargo, la teoría de la emergencia ha sido objeto de crítica. Un reciente estudio de la Universidad de Stanford sostiene que la aparición de estas habilidades es simplemente una consecuencia de cómo se mide el rendimiento de los modelos de lenguaje. Según los investigadores de Stanford, las habilidades no son impredecibles ni repentinas. Sanmi Koyejo, autor principal del estudio, argumenta que la transición es más predecible de lo que se cree.
Los Modelos de Lenguaje a Gran Escala y su Impacto en la IA
Los modelos de lenguaje a gran escala se entrenan analizando enormes conjuntos de datos de texto y estableciendo conexiones entre palabras que suelen aparecer juntas. El tamaño de estos modelos se mide en términos de parámetros, que son aproximadamente todas las formas en que las palabras pueden conectarse. Ejemplos de estos modelos son GPT-2, con 1.5 mil millones de parámetros, GPT-3.5, con 350 mil millones de parámetros, y GPT-4, con 1.75 billones de parámetros.
El crecimiento acelerado de estos modelos ha generado un aumento impresionante en el rendimiento y la eficacia. Los modelos más grandes pueden completar tareas que los modelos más pequeños no pueden, incluso aquellas para las que no fueron entrenados. Los investigadores de Stanford reconocen que los modelos se vuelven más efectivos a medida que se escalan. Sin embargo, argumentan que la mejora puede parecer suave y predecible o abrupta y aguda dependiendo de la métrica elegida o la escasez de ejemplos de prueba, no de las operaciones internas del modelo.
En conclusión, el debate sobre el comportamiento de «avance» y la teoría de la emergencia en los modelos de lenguaje a gran escala persiste. Mientras que algunos investigadores ven en estos fenómenos un potencial y un riesgo impredecibles, otros sostienen que son simplemente el resultado de cómo se mide el rendimiento de estos modelos. Lo que es indiscutible es que el rápido crecimiento y la mejora del rendimiento de estos modelos están transformando el panorama de la Inteligencia Artificial.
Sandra es especialista en marketing digital y experta en redes sociales. Ha completado un posgrado en Comunicación y RRPP de marcas de moda en Idep Barcelona, así como otro en Marketing y reputación online: comunidades virtuales. Sandra está al tanto de las últimas tendencias y mejores prácticas en redes sociales, y eso se refleja en su trabajo diario generando un impacto positivo en el mundo digital.
