La IA supera a los humanos en la verificación de hechos
Un estudio reciente de DeepMind, la división de investigación de Google, ha descubierto que un sistema de inteligencia artificial (IA) puede superar a los verificadores de hechos humanos en la evaluación de la precisión de la información generada por grandes modelos de lenguaje. Este descubrimiento, que podría tener un impacto significativo en la lucha contra la desinformación, ha suscitado un amplio debate en la comunidad científica.
El sistema, conocido como Search-Augmented Factuality Evaluator (SAFE), emplea un gran modelo de lenguaje para descomponer el texto generado en hechos individuales. Posteriormente, utiliza los resultados de la búsqueda de Google para determinar la precisión de cada afirmación. Este enfoque innovador permite a SAFE evaluar la veracidad de la información de manera más eficiente y precisa que los métodos tradicionales de verificación de hechos.
Rendimiento ‘superhumano’ y ahorro de costos
En un conjunto de datos de aproximadamente 16,000 hechos, SAFE coincidió con las calificaciones humanas el 72% del tiempo. Sin embargo, en una muestra de 100 desacuerdos entre SAFE y los evaluadores humanos, el juicio de SAFE fue correcto en el 76% de los casos. Este rendimiento ‘superhumano’ ha generado un debate en torno al término «superhumano» utilizado en el estudio, con algunos argumentando que puede ser engañoso.
Además de su rendimiento superior, SAFE también es significativamente más económico que los verificadores de hechos humanos, siendo aproximadamente 20 veces más barato. Este ahorro de costos, combinado con su alta precisión, hace que SAFE sea una herramienta valiosa para evaluar la precisión factual de los modelos de lenguaje. De hecho, se utilizó para evaluar 13 modelos de lenguaje principales, encontrando que los modelos más grandes generalmente producen menos errores factuales.
Necesidad de transparencia y desarrollo riguroso
No obstante, el estudio también destaca la necesidad de una mayor transparencia en torno a las líneas de base humanas utilizadas. Comprender los detalles específicos del proceso y los antecedentes de los trabajadores de la multitud es esencial para evaluar las capacidades de SAFE en el contexto adecuado.
Las herramientas de verificación automática de hechos como SAFE podrían desempeñar un papel clave en la mitigación de los riesgos de la información inexacta generada por los modelos de lenguaje. Sin embargo, es esencial un desarrollo transparente y riguroso de estas tecnologías con aportes de una amplia gama de partes interesadas. En un mundo cada vez más digital, la importancia de la verificación automática de hechos en la lucha contra la desinformación no puede ser subestimada.
Sarah es además de experta en marketing digital, creadora de contenido con amplia experiencia en el campo. Graduada en Sociología por la Universidad de Barcelona y con un Postgrado en Marketing Digital en Inesdi, Sarah ha logrado destacarse como Directora de Marketing Digital.
Su profundo conocimiento de las tendencias digitales y su habilidad para identificar oportunidades de crecimiento han sido fundamentales para el éxito de numerosas campañas. Además, imparte clases y conferencias en prestigiosas escuelas de negocio, universidades y eventos, compartiendo sus conocimientos y experiencias con otros profesionales y estudiantes.
