OpenAI cria uma equipe para proteger contra os riscos da IA
A OpenAI, a renomada organização de pesquisa em inteligência artificial (IA), anunciou a formação de uma nova equipe chamada Preparedness. Este grupo, liderado por Aleksander Madry, especialista em aprendizado de máquina do Instituto de Tecnologia de Massachusetts (MIT), tem como principal missão estudar e proteger contra os “riscos catastróficos” que a IA poderia representar.
Objetivos e alcance da equipe Preparedness
A equipe Preparedness será responsável por rastrear, avaliar, prever e proteger contra possíveis riscos catastróficos derivados da IA. Os perigos que se pretendem abordar são variados e vão desde a persuasão individualizada, como os ataques de phishing, até questões de cibersegurança e ameaças químicas, biológicas, radiológicas e nucleares (CBRN). Além disso, o campo de estudo da equipe também inclui a replicação e adaptação autônomas (ARA).
A rápida evolução dos sistemas de IA tem gerado preocupação entre os especialistas sobre os possíveis perigos que estes podem representar. Sam Altman, líder da OpenAI, manifestou seu apoio à criação de uma regulamentação para o desenvolvimento desses modelos.
Convocação à comunidade científica e avaliação de riscos
Em um esforço para envolver a comunidade científica neste desafio, a OpenAI lançou uma convocação solicitando estudos sobre possíveis riscos associados à IA. Para incentivar essa participação, oferece um prêmio de $25.000 e uma possível posição na equipe Preparedness aos autores dos 10 melhores estudos apresentados.
Como parte do processo de avaliação de riscos, insta-se os participantes a imaginar o pior uso possível de seus modelos mais avançados. Este exercício tem como objetivo antecipar e prevenir possíveis cenários catastróficos.
Além disso, a equipe Preparedness tem a responsabilidade de criar guias e documentos para desenvolver testes para os modelos de IA. Esses testes serão realizados antes e depois do desenvolvimento dos modelos, com o objetivo de garantir sua segurança e eficácia.
A OpenAI reconhece que os sistemas de IA apresentam riscos cada vez mais sérios. A criação da equipe Preparedness é um passo importante para garantir que se tenha o conhecimento e a infraestrutura necessária para assegurar a segurança de sistemas de IA altamente capazes. Este esforço conjunto entre pesquisadores, especialistas em segurança e a comunidade científica em geral, é crucial para navegar com sucesso nesta nova era da inteligência artificial.
Sandra é especialista em marketing digital e experta em redes sociais. Ela completou uma pós-graduação em Comunicação e RP para marcas de moda no Idep Barcelona, além de outra em Marketing e reputação online: comunidades virtuais. Sandra está a par das últimas tendências e melhores práticas em redes sociais, e isso se reflete em seu trabalho diário, gerando um impacto positivo no mundo digital.
