Galileo Desenvolve Índice para Medir Alucinações em Modelos de Linguagem
O gigante da inteligência artificial, Galileo, criou um inovador índice de alucinações para determinar qual modelo de linguagem de grande escala (LLM) é mais eficiente e gera menos alucinações. Este índice é uma resposta aos desafios que as alucinações apresentam nos LLMs, um obstáculo que tem dificultado a sua implementação em produção.
As alucinações nos LLMs referem-se à geração de informações falsas ou inexistentes por parte destes modelos. Este problema levou à necessidade de uma medição exaustiva e precisa para avaliar a propensão a alucinar dos LLMs e assim poder melhorar o seu desempenho.
Metodologia do Índice e Resultados Obtidos
Para desenvolver o índice, a Galileo selecionou onze LLMs populares, tanto de código aberto como fechado. A avaliação baseou-se em três tarefas comuns: perguntas e respostas sem recuperação, tarefas relacionadas com a recuperação e geração de textos longos. Para testar os LLMs, foram utilizados sete conjuntos de dados populares. Além disso, a Galileo criou métricas próprias para avaliar a precisão e a aderência ao contexto.
Os resultados do índice revelaram que o modelo GPT-4-0613 da OpenAI teve o melhor desempenho em perguntas e respostas sem recuperação e em tarefas relacionadas à recuperação. Para gerar textos longos, GPT-4-0613 e Llama-2-70b obtiveram os melhores resultados.
Recomendações e Futuras Atualizações do Índice
Apesar do bom desempenho do GPT-4-0613, seu custo pode ser alto. Por isso, Galileo recomenda modelos alternativos para equilibrar desempenho e custo, uma consideração crucial para as empresas que buscam implementar essas tecnologias.
Galileo planeja atualizar o índice trimestralmente, com o objetivo de se tornar uma ferramenta útil para as equipes que trabalham com IA generativa. Este índice permitirá aos desenvolvedores e cientistas de dados selecionar o modelo mais adequado para suas necessidades, otimizando assim a eficiência e a precisão de seus projetos.
Clara é criadora e editora de conteúdo, com sólida formação em ciências e especialização em inteligência artificial. Sua paixão por este campo em constante evolução levou-a a adquirir os conhecimentos necessários para entender e comunicar os avanços mais recentes nesta área. Com sua experiência e habilidades em redação e edição de conteúdo, Clara é capaz de transmitir de maneira clara e eficaz conceitos complexos relacionados à inteligência artificial, tornando-os acessíveis a todos os tipos de públicos.
