Desafios de Segurança na Era da Inteligência Artificial Generativa
O aumento dos Modelos de Linguagem Grande (LLMs) e a Inteligência Artificial (IA) generativa apresentaram desafios significativos para as equipes de segurança. Adaptar os programas de segurança a esses avanços tecnológicos tornou-se uma necessidade urgente.
A Ameaça dos Intermediários Não Confiáveis
Uma nova ameaça no campo da Tecnologia na Sombra (TI) surgiu: os intermediários não confiáveis. A indústria está sendo construída em LLMs hospedados por serviços como OpenAI, Hugging Face e Anthropic. Embora as empresas acessem esses modelos para resolver desafios empresariais usando ferramentas como extensões de navegador, aplicativos SaaS, aplicativos Slack e APIs pagas, esse acesso pode implicar o risco de vazamento de dados sensíveis.
O treinamento através de limites de segurança representa um novo risco para a maioria das organizações. Os limites entre usuários, clientes e dentro de uma organização estão cada vez mais difusos. Portanto, é crucial entender quais dados estão sendo introduzidos em um modelo.
Privacidade e Regulação no Uso da IA Generativa
O uso de IA gerativa com informações pessoais identificáveis (PII) apresenta sérios desafios em termos de privacidade. A regulamentação do processamento automatizado de informações pessoais é um tema quente. Aspectos como como o treinamento ou ajuste fino em informações pessoais afeta os pedidos de exclusão, restrições na reutilização de dados, residência de dados e outros requisitos regulatórios devem ser considerados.
Adaptando a Segurança aos Novos Riscos
Para enfrentar esses desafios, é necessário adaptar a segurança do fornecedor, a segurança empresarial e a segurança do produto aos novos tipos de risco introduzidos pela IA gerativa.
Quanto à segurança do fornecedor, as ferramentas de IA gerativa devem ser tratadas como qualquer outra ferramenta de fornecedor. É essencial garantir que elas cumpram os requisitos habituais de segurança e privacidade e incorporar essas considerações no processo de diligência prévia.
No âmbito da segurança empresarial, é vital estabelecer as expectativas corretas. É preciso encontrar um equilíbrio entre atrito e usabilidade. Existe o risco de os funcionários utilizarem ferramentas que enviem dados do cliente para um terceiro não aprovado. Por isso, é importante estabelecer expectativas com os funcionários e presumir boas intenções.
Em relação à segurança do produto, a transparência gera confiança. É fundamental evitar tornar-se um intermediário não confiável para os clientes. Deve-se ser transparente no uso de dados do cliente com IA gerativa e respeitar os mesmos limites de segurança que os clientes esperam. Além disso, deve-se dar opções aos clientes, permitindo-lhes optar por participar ou não nas características da IA gerativa.
Em conclusão, embora seja importante não obstaculizar o progresso, é igualmente necessário adotar essas ferramentas para o sucesso empresarial. A IA gerativa e os LLMs vieram para ficar e devemos aprender a conviver com eles de forma segura.
Escrito por Rob Picard, chefe de segurança na Vanta.
Clara é criadora e editora de conteúdo, com sólida formação em ciências e especialização em inteligência artificial. Sua paixão por este campo em constante evolução levou-a a adquirir os conhecimentos necessários para entender e comunicar os avanços mais recentes nesta área. Com sua experiência e habilidades em redação e edição de conteúdo, Clara é capaz de transmitir de maneira clara e eficaz conceitos complexos relacionados à inteligência artificial, tornando-os acessíveis a todos os tipos de públicos.
