L’outil anti-plagiat Turntin active la détection d’écriture par IA

Le fournisseur de logiciels universitaires de détection de plagiat, Turnitin, a présenté mardi un outil de détection d’écriture par IA, avec une affirmation d’une précision de 98% pour détecter la triche générée par la machine.

Les premiers tests effectués par le Poste de Washington, cependant, a trouvé ses performances insuffisantes. Turnitin était bon pour détecter le texte généré par l’IA lorsque toute l’entrée avait été créée par ChatGPT, mais avait du mal avec un mélange entre des phrases écrites par des humains et des machines. Il a également signalé à tort des parties d’un essai écrit par un étudiant comme étant générées par l’IA.

Les enseignants sont aux prises avec la tendance des étudiants à se tourner vers des outils comme ChatGPT pour rédiger des dissertations et faire leurs devoirs, et les établissements universitaires ont du mal à appliquer des politiques réglementant l’utilisation des logiciels d’écriture d’IA.

Turnitin, cependant, affirme que les fonctionnalités désormais intégrées dans ses produits anti-plagiat existants peuvent détecter le texte généré par l’IA avec “98% de confiance” – mais n’a fourni aucune preuve de cela. Étant donné que 2,1 millions d’enseignants américains auraient utilisé le code, certaines sources devraient sûrement être citées – comme tout enseignant vous le dira.

“La technologie de Turnitin a une grande précision et de faibles taux de faux positifs lors de la détection de texte généré par l’IA dans l’écriture des élèves”, a déclaré Annie Chechitelli, chef de produit de Turnitin, dans un communiqué. “Pour maintenir un taux de faux positifs inférieur à 1 %, nous ne signalons quelque chose que lorsque nous sommes sûrs à 98 % qu’il est écrit par l’IA sur la base de données collectées et vérifiées dans notre environnement de laboratoire contrôlé.”

On ne sait pas comment Turnitin a vérifié l’exactitude de son logiciel, ni comment il prédit le texte généré par différents modèles de langage.

Le fournisseur a été critiqué pour avoir poussé ses outils aux clients sans être transparent sur leur fonctionnement. Certaines des meilleures universités du groupe Russell au Royaume-Uni – dont l’Université de Cambridge, par exemple – ont choisi de ne pas utiliser les outils de détection d’IA de Turnitin, selon le Financial Times.

Prédire si un passage de texte a été produit par l’IA est délicat. Même OpenAI, qui a construit ChatGPT, a averti que son propre classificateur de texte AI ne peut identifier correctement le texte comme susceptible d’être écrit par l’IA que 26 % du temps.

Un groupe d’informaticiens de l’Université du Maryland a récemment publié une étude qui a révélé qu’il était facile d’échapper aux outils de détection, même pour le texte qui avait été filigrané.

Le logiciel de détection d’IA de Turnitin est actuellement gratuit.

“Les éducateurs nous ont dit que pouvoir détecter avec précision le texte écrit par l’IA est leur première priorité en ce moment. Ils doivent être capables de détecter l’IA avec une très grande certitude pour évaluer l’authenticité du travail d’un élève et déterminer la meilleure façon de s’engager avec lui.” a déclaré le PDG Chris Caren

Le registre a demandé à Turnitin de commenter la validation du chiffre de 98%. Nous vous ferons savoir. ®