OpenAI modifie ChatGPT pour éviter les informations dangereuses sur l’IA

En bref OpenAI a publié cette semaine un nouveau modèle de langage nommé ChatGPT, conçu pour imiter les conversations humaines.

Le modèle est basé sur le dernier système GPT-3.5 de génération de texte de la société publié plus tôt cette année. ChatGPT est plus conversationnel que les versions précédentes. Il peut poser des questions de suivi aux utilisateurs et s’abstenir de répondre à des entrées inappropriées au lieu de simplement générer du texte.

Certains exemples montrent que ChatGPT ne fournira pas de conseils dangereux lorsqu’il sera invité et peut essayer de corriger des déclarations erronées. OpenAI pense que le modèle devrait être plus sûr à utiliser car il a été formé à l’aide de commentaires humains. Après avoir donné des exemples de réponses utiles à des invites aléatoires, les données ont ensuite été classées du meilleur au pire pour guider un système d’apprentissage par renforcement en récompensant ChatGPT pour avoir généré de bons résultats.

Mais les personnes qui utilisent le modèle ont déjà prouvé à quel point il est facile de contourner les mesures de sécurité de ChatGPT. Beaucoup ont démontré des phrases très simples qui peuvent guider le système pour générer du contenu qu’il n’est pas censé générer, comme indiquer aux utilisateurs comment intimidateur personnes ou faire Cocktail Molotov.

ChatGPT est malheureusement en proie aux mêmes problèmes fondamentaux qui affectent tous les modèles de langage actuels : il ne sait pas de quoi il parle.

En conséquence, il générera toujours de fausses informations et peut parfois refuser de répondre à des questions bénignes. Si vous avez créé un compte OpenAI, vous pouvez jouer avec ChatGPT ici.

L’IA apprend à jouer à Stratego

Les chercheurs de DeepMind ont construit un réseau de neurones capable de jouer au jeu de guerre à deux joueurs Stratego.

Stratego est plus compliqué à jouer pour les machines que les jeux précédents résolus par DeepMind, comme Chess ou Go. Le nombre d’issues possibles et de coups à jouer est de l’ordre de 10⁵³⁵ états, plus grand que Go’s 10³⁶⁰rapporte Nature.

Le système, nommé DeepNash, prétend fonctionner en résolvant l’équilibre de Nash, un concept mathématique qui décrit comment atteindre la solution optimale entre les joueurs dans un jeu non coopératif. DeepNash a participé à un tournoi Stratego en ligne et a été classé troisième après 50 matchs parmi tous les joueurs humains qui ont joué sur la plateforme de jeu Gravon depuis 2002.

“Notre travail montre qu’un jeu aussi complexe que Stratego, impliquant des informations imparfaites, ne nécessite pas de techniques de recherche pour le résoudre”, explique Karl Tuyls, membre de l’équipe et chercheur de DeepMind basé à Paris. “C’est un très grand pas en avant dans l’IA.”

Le battage médiatique autour de l’apprentissage par renforcement s’est un peu calmé depuis la sortie d’AlphaGo en 2017. Les chercheurs pensent qu’enseigner à l’IA les compétences nécessaires pour jouer à des jeux comme Stratego est pertinent pour aider les machines à prendre des décisions dans le monde réel, nous dit-on.

“À un moment donné, les principaux laboratoires de recherche sur l’IA doivent aller au-delà des paramètres récréatifs et trouver comment mesurer les progrès scientifiques sur les” jeux “du monde réel les plus spongieux qui nous intéressent réellement”, Michael Wellman, professeur d’informatique et d’ingénierie à l’Université du Michigan, qui n’était pas directement impliqué dans l’étude, a commenté.

Le département américain de l’énergie injecte des millions de dollars dans l’IA pour la science

Le DoE fournit 4,3 millions de dollars pour financer 16 projets axés sur l’IA liés à la recherche en physique des hautes énergies.

Ces projets [PDF] sera dirigé par différentes universités à travers les États-Unis et couvrira un large éventail de domaines de recherche allant de la théorie des cordes, de la cosmologie aux réseaux de neurones et aux accélérateurs de particules. L’investissement total sera réparti sur trois ans, avec 1,3 million de dollars la première année.

Le DoE a également annoncé récemment une initiative similaire accordant 6,4 millions de dollars à la R&D en IA pour trois projets de physique des hautes énergies qui seront dirigés par des laboratoires nationaux. “Les techniques d’IA et d’apprentissage automatique en physique des hautes énergies sont d’une importance vitale pour faire progresser le domaine”, a déclaré Gina Rameika, directrice associée des sciences du DOE pour la physique des hautes énergies, selon HPCwire.

“Ces prix représentent de nouvelles opportunités pour les chercheurs universitaires qui permettront les prochaines découvertes en physique des hautes énergies.” ®