Nouvelles fonctionnalités d’Intelligence Artificielle chez Meta Platforms
Meta Platforms, la société mère de Facebook, Instagram et WhatsApp, a récemment introduit des innovations en intelligence artificielle (IA) pour ses plateformes. Les détails de ces nouveautés ont été exposés dans un article scientifique publié par les chercheurs de Meta sur arXiv.org, une plateforme en accès libre pour la diffusion de travaux académiques.
Llama 2 Long : Une avancée dans la génération de texte
Le nouveau modèle d’IA, baptisé Llama 2 Long, est basé sur le modèle open source Llama 2. Cependant, il a été renforcé par un entraînement continu et l’utilisation de textes plus longs. Cette amélioration a permis à Llama 2 Long de surpasser ses concurrents dans la génération de réponses à des prompts longs.
Pour développer Llama 2 Long, les chercheurs de Meta ont utilisé l’original Llama 2 avec différentes tailles de paramètres d’entraînement. De plus, ils ont incorporé plus de sources de données de texte long que l’ensemble original. Malgré ces modifications, la même architecture que celle du Llama 2 original a été conservée, seule la codification positionnelle a été modifiée.
Les améliorations de performance ont été obtenues en modifiant l’angle de rotation dans le codage RoPE (Rotary Positional Encoding), ce qui a permis d’inclure des tokens plus « lointains ». De plus, on a eu recours à l’apprentissage par renforcement avec des retours humains et des données synthétiques générées par le chat Llama 2 pour optimiser sa performance.
Dépasser les Concurrents et Valider le Code Ouvert
Les résultats obtenus par Llama 2 Long ont surpassé les modèles réguliers Llama 2, Claude 2 et GPT-3.5 Turbo. Cette nouvelle a été accueillie avec admiration et enthousiasme par la communauté de l’IA en code ouvert, qui voit en Llama 2 Long une avancée importante dans la génération de texte.
En résumé, Meta a validé l’approche du « code ouvert » vers l’IA générative avec le lancement de Llama 2 Long. Ce jalon indique que le code ouvert peut rivaliser avec les modèles de « pay-to-play » offerts par des startups bien financées. Sans aucun doute, c’est une étape significative dans le développement de l’intelligence artificielle et son application dans les réseaux sociaux.
Clara est créatrice et éditrice de contenus, avec une solide formation en sciences et une spécialisation en intelligence artificielle. Sa passion pour ce domaine en constante évolution l'a amenée à acquérir les connaissances nécessaires pour comprendre et communiquer les avancées les plus récentes dans ce domaine. Grâce à son expérience et à ses compétences en rédaction et édition de contenus, Clara est capable de transmettre de manière claire et efficace des concepts complexes liés à l'intelligence artificielle et ainsi les rendre accessibles à tous types de publics.
Cette entrée est également disponible dans : Español Português
