OpenAI crea un equipo para proteger contra los riesgos de la IA
OpenAI, la reconocida organización de investigación en inteligencia artificial (IA), ha anunciado la formación de un nuevo equipo denominado Preparedness. Este grupo, liderado por Aleksander Madry, experto en aprendizaje automático del Instituto Tecnológico de Massachusetts (MIT), tiene como misión principal estudiar y proteger contra los «riesgos catastróficos» que podría suponer la IA.
Objetivos y alcance del equipo Preparedness
El equipo Preparedness se encargará de rastrear, evaluar, pronosticar y proteger contra posibles riesgos catastróficos derivados de la IA. Los peligros que se pretenden abordar son variados y abarcan desde la persuasión individualizada, como los ataques de phishing, hasta cuestiones de ciberseguridad y amenazas químicas, biológicas, radiológicas y nucleares (CBRN). Además, el ámbito de estudio del equipo también incluye la replicación y adaptación autónomas (ARA).
La rápida evolución de los sistemas de IA ha generado inquietud entre los expertos sobre los posibles peligros que estos pueden representar. Sam Altman, líder de OpenAI, ha manifestado su apoyo a la creación de una regulación para el desarrollo de estos modelos.
Convocatoria a la comunidad científica y evaluación de riesgos
En un esfuerzo por involucrar a la comunidad científica en este desafío, OpenAI ha lanzado una convocatoria solicitando estudios sobre posibles riesgos asociados a la IA. Para incentivar esta participación, ofrece un premio de $25,000 y un posible puesto en el equipo Preparedness a los autores de los 10 mejores estudios presentados.
Como parte del proceso de evaluación de riesgos, se insta a los participantes a imaginar el peor uso posible de sus modelos más avanzados. Este ejercicio tiene como objetivo anticipar y prevenir posibles escenarios catastróficos.
Además, el equipo Preparedness tiene la responsabilidad de crear guías y documentos para desarrollar pruebas para los modelos de IA. Estas pruebas se realizarán antes y después del desarrollo de los modelos, con el fin de garantizar su seguridad y eficacia.
OpenAI reconoce que los sistemas de IA plantean riesgos cada vez más serios. La creación del equipo Preparedness es un paso importante para asegurar que se cuenta con los conocimientos y la infraestructura necesaria para garantizar la seguridad de sistemas de IA altamente capaces. Este esfuerzo conjunto entre investigadores, expertos en seguridad y la comunidad científica en general, es crucial para navegar con éxito en esta nueva era de la inteligencia artificial.
Sandra es especialista en marketing digital y experta en redes sociales. Ha completado un posgrado en Comunicación y RRPP de marcas de moda en Idep Barcelona, así como otro en Marketing y reputación online: comunidades virtuales. Sandra está al tanto de las últimas tendencias y mejores prácticas en redes sociales, y eso se refleja en su trabajo diario generando un impacto positivo en el mundo digital.
