A IA supera os humanos na verificação de fatos
Um estudo recente da DeepMind, divisão de pesquisa do Google, descobriu que um sistema de inteligência artificial (IA) pode superar os verificadores de fatos humanos na avaliação da precisão das informações geradas por grandes modelos de linguagem. Essa descoberta, que pode ter um impacto significativo na luta contra a desinformação, gerou um amplo debate na comunidade científica.
O sistema, conhecido como Search-Augmented Factuality Evaluator (SAFE), emprega um grande modelo de linguagem para decompor o texto gerado em fatos individuais. Posteriormente, utiliza os resultados da pesquisa do Google para determinar a precisão de cada afirmação. Essa abordagem inovadora permite que o SAFE avalie a veracidade das informações de maneira mais eficiente e precisa do que os métodos tradicionais de verificação de fatos.
Desempenho ‘super-humano’ e economia de custos
Em um conjunto de dados de aproximadamente 16.000 fatos, o SAFE concordou com as avaliações humanas 72% do tempo. No entanto, em uma amostra de 100 discordâncias entre o SAFE e os avaliadores humanos, o julgamento do SAFE estava correto em 76% dos casos. Este desempenho ‘super-humano’ gerou um debate em torno do termo “super-humano” usado no estudo, com alguns argumentando que pode ser enganoso.
Além de seu desempenho superior, o SAFE também é significativamente mais econômico do que os verificadores de fatos humanos, sendo aproximadamente 20 vezes mais barato. Esta economia de custos, combinada com sua alta precisão, torna o SAFE uma ferramenta valiosa para avaliar a precisão factual dos modelos de linguagem. De fato, foi usado para avaliar 13 principais modelos de linguagem, descobrindo que os modelos maiores geralmente produzem menos erros factuais.
Necessidade de transparência e desenvolvimento rigoroso
No entanto, o estudo também destaca a necessidade de maior transparência em torno das linhas de base humanas utilizadas. Compreender os detalhes específicos do processo e o contexto dos trabalhadores da multidão é essencial para avaliar as capacidades do SAFE no contexto adequado.
As ferramentas de verificação automática de fatos, como o SAFE, podem desempenhar um papel chave na mitigação dos riscos de informações imprecisas geradas por modelos de linguagem. No entanto, é essencial um desenvolvimento transparente e rigoroso dessas tecnologias com contribuições de uma ampla gama de partes interessadas. Em um mundo cada vez mais digital, a importância da verificação automática de fatos na luta contra a desinformação não pode ser subestimada.
Sarah é, além de uma especialista em marketing digital, uma criadora de conteúdo com vasta experiência no campo. Graduada em Sociologia pela Universidade de Barcelona e com uma Pós-graduação em Marketing Digital pelo Inesdi, Sarah conseguiu se destacar como Diretora de Marketing Digital. Seu profundo conhecimento das tendências digitais e sua habilidade para identificar oportunidades de crescimento foram fundamentais para o sucesso de inúmeras campanhas. Além disso, ela dá aulas e palestras em prestigiosas escolas de negócios, universidades e eventos, compartilhando seus conhecimentos e experiências com outros profissionais e estudantes.
