Desafíos de Seguridad en la Era de la Inteligencia Artificial Generativa
El auge de los Modelos de Lenguaje Grande (LLMs) y la Inteligencia Artificial (IA) generativa ha planteado desafíos significativos para los equipos de seguridad. Adaptar los programas de seguridad a estos avances tecnológicos se ha convertido en una necesidad urgente.
La Amenaza de los Intermediarios No Confiables
Una nueva amenaza en el ámbito de la Tecnología en la Sombra (TI) ha surgido: los intermediarios no confiables. La industria se está construyendo sobre LLMs alojados por servicios como OpenAI, Hugging Face y Anthropic. Aunque las empresas acceden a estos modelos para resolver desafíos empresariales mediante herramientas como extensiones de navegador, aplicaciones SaaS, aplicaciones Slack y APIs pagadas, este acceso puede implicar el riesgo de fuga de datos sensibles.
La formación a través de límites de seguridad representa un riesgo nuevo para la mayoría de las organizaciones. Los límites entre usuarios, clientes y dentro de una organización son cada vez más difusos. Por lo tanto, es crucial entender qué datos se están introduciendo en un modelo.
Privacidad y Regulación en el Uso de IA Generativa
El uso de IA generativa con información personal identificable (PII) plantea serios desafíos en términos de privacidad. La regulación del procesamiento automatizado de información personal es un tema candente. Aspectos como cómo afecta el entrenamiento o ajuste fino en información personal a las solicitudes de eliminación, restricciones en la reutilización de datos, residencia de datos y otros requisitos regulatorios deben ser considerados.
Adaptando la Seguridad a los Nuevos Riesgos
Para enfrentar estos desafíos, es necesario adaptar la seguridad del proveedor, la seguridad empresarial y la seguridad del producto a los nuevos tipos de riesgo introducidos por la IA generativa.
En cuanto a la seguridad del proveedor, las herramientas de IA generativa deben tratarse como cualquier otra herramienta de proveedor. Es esencial asegurarse de que cumplen con los requisitos habituales de seguridad y privacidad e incorporar estas consideraciones en el proceso de diligencia debida.
En el ámbito de la seguridad empresarial, es vital establecer las expectativas correctas. Hay que encontrar un equilibrio entre fricción y usabilidad. Existe el riesgo de que los empleados utilicen herramientas que envíen datos del cliente a un tercero no aprobado. Por ello, es importante establecer expectativas con los empleados y asumir buenas intenciones.
En lo que respecta a la seguridad del producto, la transparencia genera confianza. Es fundamental evitar convertirse en un intermediario no confiable para los clientes. Se debe ser transparente en el uso de datos del cliente con IA generativa y respetar los mismos límites de seguridad que los clientes esperan. Además, se debe dar opciones a los clientes, permitiéndoles optar por participar o no en las características de IA generativa.
En conclusión, aunque es importante no obstaculizar el progreso, es igualmente necesario adoptar estas herramientas para el éxito empresarial. La IA generativa y los LLMs están aquí para quedarse y debemos aprender a convivir con ellos de manera segura.
Escrito por Rob Picard, jefe de seguridad en Vanta.
Clara es creadora y editora de contenidos, con una sólida formación en ciencias y una especialización en inteligencia artificial. Su pasión por este campo en constante evolución la ha llevado a adquirir los conocimientos necesarios para comprender y comunicar los avances más recientes en este campo. Con su experiencia y habilidades en la redacción y edición de contenidos, Clara es capaz de transmitir de manera clara y efectiva conceptos complejos relacionados con la inteligencia artificial y de esta manera hacerlos accesibles para todo tipo de audiencias.
