Pourquoi OpenAI a recruté des entrepreneurs humains pour améliorer GPT-3

Il s’avère que les machines ont toujours besoin de nous après tout, du moins pour le moment. Et tandis que les plus grands systèmes retiennent le plus l’attention, le secret d’une IA vraiment utile et juste est mieux servi petit et avec beaucoup de contribution humaine.

La qualité du texte créé par les réseaux de neurones s’est améliorée au fil du temps à mesure que les modèles évoluent avec des données de formation en constante augmentation. Cependant, ils souffrent toujours d’un problème persistant et fondamental : ils ont tendance à produire des résultats offensants, biaisés ou inexacts (ou une combinaison toxique des trois).

Il existe des moyens de contourner cela, mais ils n’ont pas l’histoire passionnante de l’évolutivité et, pire encore, ils doivent s’appuyer sur une béquille plutôt non technologique : l’apport humain. Des modèles de langage plus petits affinés avec des réponses écrites par l’homme sont finalement meilleurs pour générer un texte moins biaisé qu’un système beaucoup plus grand et plus puissant.

Et ce qui complique encore les choses, c’est que des modèles comme le GPT-3 d’OpenAI ne génèrent pas toujours de texte particulièrement utile, car ils sont formés pour essentiellement “compléter automatiquement” des phrases basées sur une énorme quantité de texte extrait d’Internet. Ils n’ont aucune connaissance de ce qu’un utilisateur lui demande de faire et des réponses qu’il attend. “En d’autres termes, ces modèles ne sont pas alignés sur leurs utilisateurs”, a déclaré OpenAI.

Tout test de cette idée serait de voir ce qui se passe avec des modèles épurés et une petite contribution humaine pour garder ces réseaux de neurones plus… humains. C’est exactement ce qu’OpenAI a fait avec GPT-3 récemment lorsqu’il a engagé 40 sous-traitants humains pour aider à orienter le comportement du modèle.

L’équipe a reçu un ensemble d’invites de texte et a été invitée à écrire les réponses correspondantes. Les ingénieurs d’OpenAI ont collecté ces réponses et affiné GPT-3 sur l’ensemble de données pour montrer à la machine comment un humain répondrait.

Les contractants ont également été invités à classer une liste de réponses produites par GPT-3 par qualité. Les données ont été utilisées pour former un modèle d’apprentissage par renforcement pour savoir ce qui était une bonne ou une mauvaise réponse. Le modèle a ensuite été utilisé pour calculer un score pour d’éventuelles générations de texte GPT-3. Selon un document de recherche, ceux qui ont obtenu un score élevé étaient plus susceptibles d’être sélectionnés comme résultat pour l’utilisateur que ceux qui ont obtenu un score plus faible.

Ces classes de modèles GPT formés sur la rétroaction humaine sont connues sous le nom de systèmes InstructGPT. “Les modèles InstructGPT qui en résultent sont bien meilleurs pour suivre les instructions que GPT-3. Ils inventent également des faits moins souvent et montrent de petites diminutions de la génération de sorties toxiques. Nos étiqueteurs préfèrent les sorties de notre modèle InstructGPT 1.3B aux sorties d’un 175B GPT- 3, malgré plus de 100 fois moins de paramètres”, a expliqué OpenAI.

Le changement, cependant, a dérouté certains utilisateurs, en laissant même croire que des humains modifiaient manuellement les réponses de GPT-3. Gary Smith, professeur d’économie au Pomona College, a remarqué que le GPT-3 se comportait bizarrement. Lorsque Smith a sondé le modèle, il a généré des réponses différentes pour les mêmes questions.

“Dois-je utiliser des nombres aléatoires pour donner des notes à mes élèves ?” Smith a tapé dans GPT-3 le 18 mars. “Il n’y a pas de réponse définitive à cette question. Cela dépend de divers facteurs, y compris…”, a-t-il répondu. Un jour plus tard, face à la même question, GPT-3 était plus décisif :

“Non, vous ne devez pas utiliser de nombres aléatoires pour attribuer des notes à vos élèves. L’attribution de notes doit être basée sur les performances de l’élève, et non sur le hasard.”

Smith a de nombreux autres exemples d’amélioration soudaine de GPT-3. Andrew Gelman, professeur de statistiques et de sciences politiques à l’Université de Columbia, a remarqué le comportement particulier et a écrit sur le blog de modélisation statistique de l’université : “GPT-3 présente cette surface brillante où vous pouvez lui envoyer n’importe quelle requête et il vous donne une réponse, mais sous le capot, il y a un tas de pigistes qui vérifient activement toutes les réponses et les réécrivent pour que l’ordinateur ait l’air intelligent.

“Pour être juste, OpenAI déclare que” InstructGPT est ensuite affiné sur un ensemble de données étiqueté par des étiqueteurs humains “, mais cela me semble toujours trompeur. Ce n’est pas seulement que l’algorithme est affiné sur l’ensemble de données. Il semble que ces pigistes sont embauchés spécifiquement pour réécrire la sortie.”

Cependant, Smith et Gelman semblent avoir mal compris la recherche InstructGPT. Les sous-traitants ont été embauchés pour générer un ensemble de données de réponses humaines à partir desquelles la machine peut apprendre, mais ils ne sont pas embauchés de manière continue pour améliorer manuellement ce qui était auparavant des résultats médiocres.

“OpenAI n’engage pas de rédacteurs pour éditer les réponses générées”, a confirmé un porte-parole de la société. Le registre.

L’alignement des modèles de langage comme GPT-3 peut les rendre moins susceptibles de générer un texte moins toxique, biaisé et plus précis, mais ils ne sont pas parfaits. Leurs performances peuvent se dégrader en particulier pour les tâches, où les commentaires humains des expériences InstructGPT n’ont pas été utilisés pour les affiner.

“Malgré des progrès significatifs, nos modèles InstructGPT sont loin d’être totalement alignés ou totalement sûrs ; ils génèrent toujours des sorties toxiques ou biaisées, inventent des faits et génèrent du contenu sexuel et violent sans incitation explicite”, a déclaré OpenAI. ®