«IA en el punto de mira: Expertos proponen pausar desarrollo ante riesgos extremos y abogan por auditorías externas»





Evitando la extinción humana: Expertos en IA proponen medidas preventivas ante riesgos extremos

Evitando la extinción humana: Expertos en IA proponen medidas preventivas ante riesgos extremos en el desarrollo de la inteligencia artificial

Evaluación temprana y pausa del desarrollo si es necesario, entre las propuestas para evitar manipulación humana, acceso a armas y explotación de vulnerabilidades cibernéticas.

Un grupo de líderes tecnológicos y expertos en inteligencia artificial (IA) ha publicado recientemente una carta abierta donde se exhorta a las empresas desarrolladoras de esta tecnología a tomar medidas preventivas ante los posibles riesgos extremos que podría conllevar su uso. Entre estos peligros se encuentran la manipulación y engaño a humanos, acceso indebido a armas o explotación de vulnerabilidades cibernéticas.

Los investigadores, provenientes de diversas universidades e instituciones internacionales, sugieren que es fundamental evaluar dichos riesgos desde etapas tempranas del proceso de desarrollo. Si se identifican amenazas significativas, recomiendan pausar el avance hasta que puedan ser debidamente mitigadas.

Detección precoz y pruebas específicas para prevenir daños irreparables

Toby Shevlane, científico investigador en DeepMind y autor principal del artículo publicado junto con la carta abierta, enfatiza la responsabilidad que tienen las compañías líderes en IA para detectar problemas emergentes antes de que causen daños irreparables. «Las empresas deben estar alerta ante cualquier señal preocupante», afirma Shevlane.

Una propuesta presentada por los expertos consiste en realizar pruebas técnicas específicas para explorar capacidades potencialmente peligrosas dentro de los modelos desarrollados. Un ejemplo mencionado es el juego «Make-me-say», que permite evaluar si un modelo de IA es capaz de manipular a personas haciéndolas decir o hacer cosas en contra de su voluntad.

Promoviendo transparencia y colaboración con auditores externos e investigadores independientes

Además, los investigadores sugieren la creación de un panel informativo donde se muestren los resultados obtenidos durante las pruebas realizadas a cada modelo. De esta manera, tanto desarrolladores como usuarios podrían evaluar qué acciones podría llevar a cabo el sistema en manos equivocadas y tomar decisiones informadas al respecto.

Otra medida propuesta es involucrar auditores externos e investigadores independientes para evaluar riesgos antes y después del despliegue del modelo. Sin embargo, existen opiniones encontradas sobre cuánto acceso deben tener estos actores externos a la información sensible relacionada con el desarrollo y funcionamiento de la IA.

Hacia una inteligencia artificial ética y responsable: garantizar beneficios sin poner en peligro nuestra seguridad y bienestar

La carta abierta representa un llamado urgente por parte de expertos en el campo tecnológico para garantizar que la inteligencia artificial sea desarrollada bajo parámetros éticos y responsables. Solo así podremos asegurar que sus beneficios sean aprovechados sin poner en peligro nuestra seguridad y bienestar.


Sarah es además de experta en marketing digital, creadora de contenido con amplia experiencia en el campo. Graduada en Sociología por la Universidad de Barcelona y con un Postgrado en Marketing Digital en Inesdi, Sarah ha logrado destacarse como Directora de Marketing Digital.

Su profundo conocimiento de las tendencias digitales y su habilidad para identificar oportunidades de crecimiento han sido fundamentales para el éxito de numerosas campañas. Además, imparte clases y conferencias en prestigiosas escuelas de negocio, universidades y eventos, compartiendo sus conocimientos y experiencias con otros profesionales y estudiantes.

Esta entrada también está disponible en: Français Português

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *