Comment GPT-4 peut modérer automatiquement le contenu en ligne

GPT-4 peut aider à modérer le contenu en ligne plus rapidement et de manière cohérente que les humains, a expliqué le fabricant du modèle OpenAI.

De nos jours, les entreprises technologiques s’appuient généralement sur un mélange d’algorithmes et de modérateurs humains pour identifier, supprimer ou restreindre l’accès au contenu problématique partagé par les utilisateurs. Les logiciels d’apprentissage automatique peuvent automatiquement bloquer la nudité ou classer les discours toxiques, même s’ils peuvent ne pas apprécier les nuances et les cas extrêmes, ce qui entraîne une réaction excessive – abaissant l’interdiction du matériel inoffensif – ou manquant complètement des éléments nuisibles.

Ainsi, des modérateurs humains sont toujours nécessaires dans le pipeline de traitement quelque part pour examiner le contenu signalé par des algorithmes ou des utilisateurs, afin de décider si des éléments doivent être supprimés ou autorisés à rester. GPT-4, nous dit-on, peut analyser le texte et être formé pour modérer automatiquement le contenu, y compris les commentaires des utilisateurs, réduisant ainsi “le stress mental des modérateurs humains”.

Chose intéressante, OpenAI a déclaré qu’il utilisait déjà son propre grand modèle de langage pour l’élaboration de politiques de contenu et les décisions de modération de contenu. En un mot : le super-laboratoire d’IA a décrit comment GPT-4 peut aider à affiner les règles d’une politique de modération de contenu, et ses résultats peuvent être utilisés pour former un classificateur plus petit qui fait le travail réel de modération automatique.

Tout d’abord, le chatbot reçoit un ensemble de directives de modération conçues pour éliminer, par exemple, le langage sexiste et raciste ainsi que les grossièretés. Ces instructions doivent être soigneusement décrites dans une invite de saisie pour fonctionner correctement. Ensuite, un petit ensemble de données composé d’échantillons de commentaires ou de contenu est modéré par des humains en suivant ces directives pour créer un ensemble de données étiqueté. GPT-4 reçoit également les directives sous forme d’invite et doit modérer le même texte dans l’ensemble de données de test.

L’ensemble de données étiqueté généré par les humains est comparé aux sorties du chatbot pour voir où il a échoué. Les utilisateurs peuvent ensuite ajuster les directives et l’invite de saisie pour mieux décrire comment suivre des règles de politique de contenu spécifiques, et répéter le test jusqu’à ce que les sorties de GPT-4 correspondent au jugement des humains. Les prédictions de GPT-4 peuvent ensuite être utilisées pour affiner un modèle de langage plus petit et plus grand afin de créer un système de modération de contenu.

À titre d’exemple, OpenAI a décrit un système de chatbot de type questions-réponses auquel on pose la question : “Comment voler une voiture ?” Les directives données stipulent que “les conseils ou instructions pour des actes répréhensibles non violents” ne sont pas autorisés sur cette plate-forme hypothétique, le bot doit donc les rejeter. GPT-4 a plutôt suggéré que la question était inoffensive car, dans sa propre explication générée par la machine, “la demande ne fait pas référence à la génération de logiciels malveillants, au trafic de drogue, au vandalisme”.

Ainsi, les lignes directrices sont mises à jour pour clarifier que “les conseils ou instructions pour des actes répréhensibles non violents, y compris le vol de biens” ne sont pas autorisés. Maintenant, le GPT-4 convient que la question est contraire à la politique et la rejette.

Cela montre comment GPT-4 peut être utilisé pour affiner les directives et prendre des décisions qui peuvent être utilisées pour construire un classificateur plus petit qui peut faire la modération à grande échelle. Nous supposons ici que GPT-4 – pas bien connu pour sa précision et sa fiabilité – fonctionne en fait assez bien pour y parvenir, natch.

La touche humaine est toujours nécessaire

OpenAI pense donc que son logiciel, par rapport aux humains, peut modérer le contenu plus rapidement et s’adapter plus rapidement si les politiques doivent changer ou être clarifiées. Les modérateurs humains doivent être recyclés, affirme le biz, tandis que GPT-4 peut apprendre de nouvelles règles en mettant à jour son invite de saisie.

“Un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide des changements de politique, réduisant le cycle de mois à heures”, ont expliqué mardi Lilian Weng, Vik Goel et Andrea Vallone du laboratoire.

“GPT-4 est également capable d’interpréter les règles et les nuances d’une longue documentation sur les politiques de contenu et de s’adapter instantanément aux mises à jour des politiques, ce qui se traduit par un étiquetage plus cohérent.

“Nous pensons que cela offre une vision plus positive de l’avenir des plates-formes numériques, où l’IA peut aider à modérer le trafic en ligne conformément à la politique spécifique à la plate-forme et à soulager le fardeau mental d’un grand nombre de modérateurs humains. Toute personne disposant d’un accès à l’API OpenAI peut implémenter cela approche pour créer leur propre système de modération assistée par l’IA.”

OpenAI a été critiqué pour avoir embauché des travailleurs au Kenya pour aider à rendre ChatGPT moins toxique. Les modérateurs humains ont été chargés de filtrer des dizaines de milliers d’échantillons de texte à la recherche de contenu sexiste, raciste, violent et pornographique, et n’auraient été payés que jusqu’à 2 dollars de l’heure. Certains ont été dérangés après avoir passé en revue le texte obscène de la NSFW pendant si longtemps.

Bien que GPT-4 puisse aider à modérer automatiquement le contenu, les humains sont toujours nécessaires car la technologie n’est pas infaillible, a déclaré OpenAI. Comme cela a été montré dans le passé, il est possible que les fautes de frappe dans les commentaires toxiques puissent échapper à la détection, et d’autres techniques telles que les attaques par injection rapide peuvent être utilisées pour contourner les garde-corps de sécurité du chatbot.

“Nous utilisons GPT-4 pour le développement de la politique de contenu et les décisions de modération de contenu, permettant un étiquetage plus cohérent, une boucle de rétroaction plus rapide pour l’affinement de la politique et moins d’implication des modérateurs humains”, a déclaré l’équipe d’OpenAI. ®