Avances en Inteligencia Artificial: I-JEPA, el innovador modelo de aprendizaje automático
En un reciente evento celebrado en San Francisco, líderes del sector tecnológico se reunieron para debatir sobre la integración y optimización de inversiones en Inteligencia Artificial (IA). Uno de los puntos destacados fue la presentación por parte de Meta del I-JEPA, un innovador modelo de aprendizaje automático basado en autoaprendizaje supervisado con imágenes.
I-JEPA: Desarrollado por Yann LeCun y su rendimiento eficiente
El I-JEPA ha sido desarrollado por Yann LeCun, científico jefe de IA en Meta. Este modelo muestra un fuerte rendimiento en tareas relacionadas con la visión por computadora y es más eficiente que otros modelos avanzados al requerir solo una décima parte de recursos informáticos para su entrenamiento. El código fuente será abierto y presentado próximamente durante la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones (CVPR).
Inspiración natural: Autoaprendizaje supervisado e información relevante como sentido común
El autoaprendizaje supervisado está inspirado en el proceso natural de aprendizaje humano y animal, donde se adquiere conocimiento a través de observaciones sin necesidad previa etiquetar datos para entrenamiento. Esto ha llevado a avances importantes tanto en modelos generativos como grandes modelos lingüísticos (LLMs). La propuesta «joint predictive embedding architecture» (JEPA) realizada por LeCun permite aprender modelos del mundo e información relevante como sentido común.
Diferencias clave entre JEPA e I-JEPA: Abstracciones y relaciones entre objetos
Existen diferencias clave entre JEPA e I-JEPA: mientras que los modelos generativos como DALL-E o GPT hacen predicciones granulares pero pueden fallar al crear objetos detallados, JEPA se centra más bien aprender abstracciones a nivel alto, cómo los objetos se relacionan entre sí.
I-JEPA basado en imágenes: Predicción de información faltante y aplicaciones potenciales
La implementación basada en imágenes del modelo propuesto por LeCun predice información faltante usando objetivos abstractos eliminando detalles innecesarios a nivel pixel. Para ello, utiliza un transformador visual (ViT) modificado para procesamiento de imágenes y genera representaciones semánticas para partes faltantes.
Entre las aplicaciones potenciales del I-JEPA se encuentran la robótica y los vehículos autónomos, ya que permite una mejor comprensión del entorno y manejo de resultados plausibles. Además, este modelo destaca por su eficiencia en memoria y cómputo al no requerir técnicas intensivas en datos como otros métodos auto-supervisados. Su entrenamiento es más rápido con menos recursos, utilizando 16 GPUs A100 en menos de 72 horas.
Menor necesidad de ajuste fino y beneficios adicionales
El I-JEPA también presenta menor necesidad de ajuste fino para superar a otros modelos avanzados en tareas como clasificación, conteo de objetos o predicción de profundidad. Por ejemplo, puede realizarse un ajuste fino con solo el 1% del conjunto ImageNet-1K.
Los beneficios adicionales incluyen la aplicabilidad a un mayor número de tareas debido al uso simplificado del modelo y la mayor disponibilidad de datos sin etiquetar útiles para aplicaciones que antes requerían grandes cantidades de datos etiquetados manualmente. El código fuente estará disponible próximamente en GitHub bajo licencia no comercial, lo cual permitirá a investigadores y desarrolladores explorar aún más sus posibilidades.
Susana es una profesional destacada en marketing y comunicación, creadora de contenido y experta en SEO. Es licenciada en Psicología por la Universidad de Santiago de Compostela y cuenta con un máster en Marketing y Comportamiento del Consumidor de la Universidad de Granada y la Universidad de Jaén. Además, ha compartido sus conocimientos a través de conferencias y workshops.
Con amplia experiencia en estrategias de marketing y comunicación, Susana ha logrado optimizar la visibilidad y el posicionamiento de las marcas a través de técnicas de SEO.
