Les experts mettent en garde contre l’extinction de l’IA si aucune mesure n’est prise maintenant

Il y a une autre lettre ouverte catastrophique sur l’IA qui fait le tour. Cette fois, un large éventail de leaders technologiques, de sommités du ML et même de quelques célébrités ont signé pour exhorter le monde à prendre plus au sérieux les prétendues menaces de niveau d’extinction posées par l’intelligence artificielle.

Plus justement une déclaration, le message du Center for AI Safety (CAIS) signé par des individus comme le pionnier de l’IA Geoffrey Hinton, le PDG d’OpenAI Sam Altman, le gourou du chiffrement Martin Hellman, le CTO de Microsoft Kevin Scott et d’autres est une seule phrase déclarative prédisant l’apocalypse si ça passe inaperçu :

“Atténuer le risque d’extinction de l’IA devrait être une priorité mondiale aux côtés d’autres risques à l’échelle de la société tels que les pandémies et la guerre nucléaire.”

Pourquoi si bref ? L’objectif était “de démontrer la large coalition croissante de scientifiques de l’IA, de leaders technologiques et de professeurs préoccupés par les risques d’extinction de l’IA. Nous avons besoin d’une large reconnaissance des enjeux afin que nous puissions avoir des discussions politiques utiles”, a déclaré le directeur du CAIS, Dan Hendrycks. Le registre.

CAIS ne fait aucune mention de l’intelligence artificielle générale (IAG) dans sa liste des risques liés à l’IA, notons-nous. Et les modèles de la génération actuelle, tels que ChatGPT, ne sont pas une menace apocalyptique pour l’humanité, nous a dit Hendrycks. L’avertissement de cette semaine concerne ce qui pourrait arriver ensuite.

“Les types de menaces catastrophiques auxquelles cette déclaration fait référence sont associés aux futurs systèmes d’IA avancés”, a déclaré Hendrycks. Il a ajouté que les progrès nécessaires pour atteindre le niveau de “menace apocalyptique” pourraient être dans deux à dix ans, et non dans plusieurs décennies. “Nous devons nous préparer maintenant. Cependant, les systèmes d’IA qui pourraient entraîner des résultats catastrophiques n’ont pas besoin d’être des AGI”, a-t-il déclaré.

Parce que les humains sont parfaitement pacifiques de toute façon

L’une de ces menaces est la militarisation, ou l’idée que quelqu’un pourrait réutiliser l’IA bienveillante pour qu’elle soit hautement destructrice, comme l’utilisation d’un robot de découverte de médicaments pour développer des armes chimiques ou biologiques, ou l’utilisation de l’apprentissage par renforcement pour le combat basé sur des machines. Cela dit, les humains sont déjà tout à fait capables de fabriquer ce genre d’armes, qui peuvent tuer une personne, un quartier, une ville ou un pays.

L’IA pourrait également être entraînée à poursuivre ses objectifs sans tenir compte des valeurs individuelles ou sociétales, nous prévient-on. Cela pourrait “affaiblir” les humains qui finissent par céder des compétences et des capacités à des machines automatisées, provoquant un déséquilibre de pouvoir entre les contrôleurs de l’IA et ceux déplacés par l’automatisation, ou être utilisé pour diffuser de la désinformation, intentionnellement ou non.

Encore une fois, aucune des IA impliquées dans cela n’a besoin d’être générale, et il n’est pas exagéré de voir le potentiel d’évolution de l’IA de la génération actuelle pour poser les types de risques qui inquiètent CAIS. Vous pouvez avoir votre propre opinion sur le degré de destruction ou de capacité du logiciel, et sur ce qu’il pourrait réellement accomplir.

Il est crucial, selon l’argument du PCSRA, d’examiner et de traiter les impacts négatifs de l’IA qui se font déjà sentir, et de transformer ces impacts existants en prévisions. “Alors que nous sommes aux prises avec des risques immédiats liés à l’IA … l’industrie de l’IA et les gouvernements du monde entier doivent également faire face sérieusement au risque que les futures IA puissent constituer une menace pour l’existence humaine”, a déclaré Hendrycks dans un communiqué.

“Le monde a coopéré avec succès pour atténuer les risques liés à la guerre nucléaire. Le même niveau d’effort est nécessaire pour faire face aux dangers posés par les futurs systèmes d’IA”, a insisté Hendrycks, avec une liste d’entreprises, d’universitaires et de leaders d’opinion qui le soutiennent.

Musk n’est pas à bord

Parmi les autres signataires figurent Ian Goodfellow, scientifique principal de Google DeepMind, les philosophes David Chalmers et Daniel Dennett, l’auteur et blogueur Sam Harris et Grimes, l’ex-musicien/Elon Musk. En parlant de l’homme lui-même, la signature de Musk est absente.

Le PDG de Twitter était parmi ceux qui ont signé une lettre ouverte publiée par le Future of Life Institute en mars dernier appelant à une pause de six mois sur la formation de systèmes d’IA “plus puissants que GPT-4”. Sans surprise, la signature du PDG d’OpenAI, Altman, était absente de ce lettre particulière, ostensiblement parce qu’elle appelait directement son entreprise.

OpenAI a depuis émis ses propres avertissements sur les menaces posées par l’IA avancée et a appelé à la création d’un organisme de surveillance mondial semblable à l’Agence internationale de l’énergie atomique pour réglementer l’utilisation de l’IA.

Cet avertissement et cet appel réglementaire, dans un cas de timing historiquement médiocre, sont intervenus le même jour qu’Altman a menacé de retirer OpenAI, et ChatGPT avec, de l’UE au sujet de la loi sur l’IA du bloc. Les règles qu’il soutient sont une chose, mais Altman a déclaré à Bruxelles que leur idée de la restriction de l’IA était un pont réglementaire trop loin, merci beaucoup.

Les parlementaires européens ont répondu en disant qu’ils ne seraient pas dictés par OpenAI, et que si l’entreprise ne peut pas se conformer aux règles de gouvernance et de transparence de base, “leurs systèmes ne sont pas adaptés au marché européen”, a affirmé l’eurodéputé néerlandais Kim van Sparrentak. .

Nous avons demandé à OpenAI des éclaircissements sur la (les) position(s) d’Altman et mettrons à jour cette histoire si nous recevons une réponse. ®