Galileo Développe un Indice pour Mesurer les Hallucinations dans les Modèles de Langage
Le géant de l’intelligence artificielle, Galileo, a créé un indice d’hallucinations innovant pour déterminer quel modèle de langage de grande taille (LLM) est le plus efficace et génère le moins d’hallucinations. Cet indice est une réponse aux défis que les hallucinations posent dans les LLMs, un obstacle qui a entravé leur mise en production.
Les hallucinations dans les LLMs se réfèrent à la génération d’informations fausses ou inexistantes par ces modèles. Ce problème a conduit à la nécessité d’une mesure exhaustive et précise pour évaluer la propension des LLMs à halluciner afin d’améliorer leur performance.
Méthodologie de l’Indice et Résultats Obtenus
Pour développer l’indice, Galileo a sélectionné onze LLMs populaires, tant open source que fermés. L’évaluation était basée sur trois tâches courantes : questions et réponses sans récupération, tâches liées à la récupération et génération de longs textes. Pour tester les LLMs, sept ensembles de données populaires ont été utilisés. De plus, Galileo a créé ses propres métriques pour évaluer la précision et l’adhérence au contexte.
Les résultats de l’indice ont révélé que le modèle GPT-4-0613 d’OpenAI a obtenu les meilleures performances en matière de questions-réponses sans récupération et de tâches liées à la récupération. Pour générer de longs textes, GPT-4-0613 et Llama-2-70b ont obtenu les meilleurs résultats.
Recommandations et Futures Mises à Jour de l’Indice
Malgré les bonnes performances du GPT-4-0613, son coût peut être élevé. C’est pourquoi Galileo recommande des modèles alternatifs pour équilibrer performance et coût, une considération cruciale pour les entreprises qui cherchent à mettre en œuvre ces technologies.
Galileo prévoit de mettre à jour l’indice trimestriellement, dans le but qu’il devienne un outil utile pour les équipes travaillant avec l’IA générative. Cet indice permettra aux développeurs et aux scientifiques des données de sélectionner le modèle le plus adapté à leurs besoins, optimisant ainsi l’efficacité et la précision de leurs projets.
Clara est créatrice et éditrice de contenus, avec une solide formation en sciences et une spécialisation en intelligence artificielle. Sa passion pour ce domaine en constante évolution l'a amenée à acquérir les connaissances nécessaires pour comprendre et communiquer les avancées les plus récentes dans ce domaine. Grâce à son expérience et à ses compétences en rédaction et édition de contenus, Clara est capable de transmettre de manière claire et efficace des concepts complexes liés à l'intelligence artificielle et ainsi les rendre accessibles à tous types de publics.
Cette entrée est également disponible dans : Español Português
