Progrès en Intelligence Artificielle : I-JEPA, le modèle innovant d’apprentissage automatique
Lors d’un récent événement à San Francisco, des leaders du secteur technologique se sont réunis pour débattre de l’intégration et de l’optimisation des investissements en Intelligence Artificielle (IA). L’un des points forts a été la présentation par Meta du I-JEPA, un modèle innovant d’apprentissage automatique basé sur l’auto-apprentissage supervisé avec images.
I-JEPA: Développé par Yann LeCun et sa performance efficace
Le I-JEPA a été développé par Yann LeCun, scientifique en chef de IA chez Meta. Ce modèle montre une forte performance dans les tâches liées à la vision par ordinateur et est plus efficace que d’autres modèles avancés car il ne nécessite qu’une fraction des ressources informatiques pour sa formation. Le code source sera ouvert et présenté prochainement lors de la Conférence sur la Vision par Ordinateur et Reconnaissance des Modèles (CVPR).
Inspiration naturelle : Apprentissage supervisé autonome et information pertinente comme sens commun
L’apprentissage supervisé autonome est inspiré du processus naturel d’apprentissage humain et animal, où la connaissance est acquise par des observations sans avoir besoin de pré-étiqueter les données pour l’entraînement. Cela a conduit à des avancées importantes tant dans les modèles génératifs que dans les grands modèles linguistiques (LLMs). La proposition « joint predictive embedding architecture » (JEPA) réalisée par LeCun permet d’apprendre des modèles du monde et une information pertinente comme le sens commun.
Différences clés entre JEPA et I-JEPA : Abstractions et relations entre objets
Il existe des différences clés entre JEPA et I-JEPA : alors que les modèles génératifs tels que DALL-E ou GPT font des prédictions granulaires mais peuvent échouer à créer des objets détaillés, JEPA se concentre plutôt sur l’apprentissage d’abstractions de haut niveau, comment les objets sont liés entre eux.
I-JEPA basé sur images : Prédiction d’information manquante et applications potentielles
L’implémentation basée sur les images du modèle proposé par LeCun prédit l’information manquante en utilisant des objectifs abstraits, éliminant ainsi les détails inutiles au niveau du pixel. Pour cela, il utilise un transformateur visuel (ViT) modifié pour le traitement d’images et génère des représentations sémantiques pour les parties manquantes.
Parmi les applications potentielles de l’I-JEPA figurent la robotique et les véhicules autonomes, car il permet une meilleure compréhension de l’environnement et la gestion de résultats plausibles. De plus, ce modèle se distingue par son efficacité en termes de mémoire et de calcul, n’exigeant pas des techniques intensives en données comme d’autres méthodes auto-supervisées. Sa formation est plus rapide avec moins de ressources, utilisant 16 GPUs A100 en moins de 72 heures.
Moins besoin d’ajustement fin et avantages supplémentaires
L’I-JEPA présente également un moindre besoin d’ajustement fin pour surpasser d’autres modèles avancés dans des tâches telles que la classification, le comptage d’objets ou la prédiction de profondeur. Par exemple, un ajustement fin peut être effectué avec seulement 1% du jeu ImageNet-1K.
Les avantages supplémentaires incluent l’applicabilité à un plus grand nombre de tâches grâce à l’utilisation simplifiée du modèle et la disponibilité accrue de données non étiquetées utiles pour des applications qui nécessitaient auparavant de grandes quantités de données étiquetées manuellement. Le code source sera bientôt disponible sur GitHub sous licence non commerciale, ce qui permettra aux chercheurs et aux développeurs d’explorer encore plus ses possibilités.
Susana est une professionnelle remarquable dans le marketing et la communication, créatrice de contenu et experte en SEO. Elle est diplômée en Psychologie de l'Université de Santiago de Compostela et a un master en Marketing et Comportement du Consommateur de l'Université de Grenade et de l'Université de Jaén. De plus, elle a partagé ses connaissances à travers des conférences et des ateliers. Avec une vaste expérience en stratégies de marketing et de communication, Susana a réussi à optimiser la visibilité et le positionnement des marques grâce à des techniques de SEO.
Cette entrée est également disponible dans : Español Português
