OpenAI crée une équipe pour se protéger contre les risques de l’IA
OpenAI, la célèbre organisation de recherche en intelligence artificielle (IA), a annoncé la formation d’une nouvelle équipe appelée Preparedness. Ce groupe, dirigé par Aleksander Madry, expert en apprentissage automatique du Massachusetts Institute of Technology (MIT), a pour mission principale d’étudier et de se protéger contre les «risques catastrophiques» que pourrait représenter l’IA.
Objectifs et portée de l’équipe Preparedness
L’équipe Preparedness sera chargée de suivre, d’évaluer, de prévoir et de se protéger contre les risques catastrophiques possibles découlant de l’IA. Les dangers à aborder sont variés et vont de la persuasion individualisée, comme les attaques de phishing, aux questions de cybersécurité et aux menaces chimiques, biologiques, radiologiques et nucléaires (CBRN). De plus, le domaine d’étude de l’équipe comprend également la réplication et l’adaptation autonomes (ARA).
L’évolution rapide des systèmes d’IA a suscité l’inquiétude parmi les experts quant aux dangers potentiels qu’ils peuvent représenter. Sam Altman, le leader d’OpenAI, a exprimé son soutien à la création d’une réglementation pour le développement de ces modèles.
Appel à la communauté scientifique et évaluation des risques
Dans un effort pour impliquer la communauté scientifique dans ce défi, OpenAI a lancé un appel à études sur les risques potentiels associés à l’IA. Pour encourager cette participation, elle offre un prix de 25 000 $ et un poste possible dans l’équipe Preparedness aux auteurs des 10 meilleures études présentées.
Dans le cadre du processus d’évaluation des risques, les participants sont invités à imaginer le pire usage possible de leurs modèles les plus avancés. Cet exercice vise à anticiper et à prévenir d’éventuels scénarios catastrophiques.
De plus, l’équipe Preparedness a la responsabilité de créer des guides et des documents pour développer des tests pour les modèles d’IA. Ces tests seront effectués avant et après le développement des modèles, afin d’assurer leur sécurité et leur efficacité.
OpenAI reconnaît que les systèmes d’IA présentent des risques de plus en plus sérieux. La création de l’équipe Préparation est une étape importante pour garantir que nous disposons des connaissances et de l’infrastructure nécessaires pour assurer la sécurité des systèmes d’IA hautement capables. Cet effort conjoint entre les chercheurs, les experts en sécurité et la communauté scientifique en général, est crucial pour naviguer avec succès dans cette nouvelle ère de l’intelligence artificielle.
Sandra est spécialiste en marketing digital et experte en réseaux sociaux. Elle a obtenu un post-diplôme en Communication et RP pour les marques de mode à Idep Barcelone, ainsi qu'un autre en Marketing et réputation en ligne : communautés virtuelles. Sandra est au courant des dernières tendances et des meilleures pratiques sur les réseaux sociaux, ce qui se reflète dans son travail quotidien en générant un impact positif dans le monde numérique.
Cette entrée est également disponible dans : Español Português
