Uni a révélé qu’il avait tué son candidat au doctorat examinant l’IA au moment même où ses inventeurs donnaient une conférence sur la technologie
Une université a annoncé qu’elle avait abandonné un outil d’apprentissage automatique utilisé pour filtrer des milliers de demandes de doctorat – juste au moment où les créateurs du logiciel parlaient du code et attiraient les critiques du public.
L’algorithme GRADE a été développé par une paire d’universitaires de l’Université du Texas à Austin, et il a été utilisé de 2013 à cette année pour évaluer les candidats à un doctorat au département d’informatique respecté de l’université américaine. Le logiciel a été formé en utilisant les coordonnées des étudiants précédemment acceptés, l’idée étant d’enseigner au système à identifier les personnes que l’école favoriserait, et de les mettre en évidence auprès du personnel qui ferait le dernier appel sur les candidatures. Il est probable que le programme ait retenu des préjugés contre les candidats de certains antécédents exclus de ces données historiques.
Les espoirs se sont vus attribuer un score de zéro à cinq par le code, et ceux qui avaient des scores élevés ont été poussés vers le personnel universitaire par GRADE. Le logiciel, selon ses créateurs dans un article décrivant la technologie, “a réduit le nombre de révisions complètes requises par candidat de 71 pour cent et, selon une estimation prudente, réduit le temps total passé à examiner les fichiers d’au moins 74 pour cent.” Cela signifie que les candidats mal notés ont reçu moins d’attention de la part du personnel.
Le département compsci s’est maintenant distancé de l’algorithme GRADE, affirmant d’abord que le code avait le potentiel de détecter des biais injustes, puis affirmant qu’il était difficile à maintenir. “L’Université du Texas au département d’informatique d’Austin a cessé d’utiliser l’évaluateur d’admission des diplômés (GRADE) au début de 2020”, a déclaré un porte-parole. Le registre dans une déclaration lundi.
«Le système a été utilisé pour organiser les admissions des diplômés au Département d’informatique entre les années universitaires 2013 et 2019. Les chercheurs ont développé le système statistique en réponse à un grand nombre de candidats à des programmes d’études supérieures dans le département. Il n’a jamais été utilisé pour prendre la décision d’admettre ou de rejeter des étudiants potentiels, car au moins une personne du département évalue directement les candidats à chaque étape du processus d’examen.
«Les changements dans l’environnement des données et des logiciels ont rendu le système de plus en plus difficile à maintenir, et son utilisation a été interrompue. L’école d’études supérieures collabore avec des programmes d’études supérieures et des membres du corps professoral sur l’ensemble du campus pour promouvoir des examens holistiques efficaces et efficients des candidatures. »
La décision de cesser d’utiliser GRADE pour sélectionner les doctorants en informatique n’a cependant été annoncée par le département sur Twitter que la semaine dernière après le physicien des plasmas Yasmeen Musthafa. a attiré l’attention aux failles du logiciel d’apprentissage automatique statistique. Musthafa a tweeté leurs critiques largement partagées le 30 novembre, la veille du jour où les créateurs de GRADE devaient faire une présentation sur leur code lors d’un événement virtuel organisé par le département de physique de l’Université du Maryland. Le jour de la conférence, UT Austin a tweeté qu’il avait abandonné le logiciel:
TXCS est profondément engagé dans la lutte contre le manque de diversité dans notre domaine. Nous sommes conscients du potentiel d’encoder les biais dans les systèmes basés sur le ML comme GRADE, c’est pourquoi nous avons progressivement abandonné notre dépendance à GRADE et ne l’utilisons plus dans le cadre de notre processus d’admission aux diplômés.
– Informatique à UT Austin (@UTCompSci) 1 décembre 2020
En fait, ce mouvement de limitation des dégâts a été fait lorsque les universitaires – Austin Waters et Risto Miikkulainen – présentaient encore leur travail à leurs collègues via Zoom. Bien que la présentation ne soit pas disponible de manière générale, les détails techniques et les effets de GRADE ont été partagés sous la forme d’un article publié dans AI Magazine en 2014.
Sommaire
Les algorithmes d’IA formés sur des données historiques peuvent hériter d’anciens biais
GRADE est formé sur diverses fonctionnalités pour classer les candidats, y compris leur GPA, les universités précédemment fréquentées, les lettres de recommandation, le domaine d’intérêt de recherche et le conseiller pédagogique dans lequel ils souhaitent étudier. L’algorithme compare ensuite ces informations aux doctorants que le département a précédemment acceptés pour prédire si un candidat est susceptible d’obtenir une place ou non. GRADE est conçu pour éliminer les étudiants potentiels les plus faibles afin que l’université perde moins de temps en ayant à considérer chaque candidature dans son intégralité. En d’autres termes, il agit comme un processus de sélection aidant le département à se concentrer sur les étudiants qui semblent plus prometteurs.
Surprise, surprise: les caméras IA vendues aux écoles de New York ont du mal avec les gens de couleur et regorgent de faux positifs
LIRE LA SUITE
«Bien que chaque demande soit toujours examinée par un réviseur humain», note le document de 2014, «GRADE rend le processus d’examen beaucoup plus efficace. C’est pour deux raisons. Premièrement, GRADE réduit le nombre total d’examens complets des demandes que le comité doit effectuer. En utilisant les prédictions du système, les évaluateurs peuvent identifier rapidement un grand nombre de candidats faibles qui seront probablement rejetés et un plus petit nombre de candidats exceptionnellement forts. “
Le département d’informatique de UT Austin est classé parmi les dix meilleurs de son acabit, et des milliers d’étudiants se battent pour une place dans ses programmes d’études supérieures.
Quand Le registre a demandé si les candidats avaient été explicitement informés que leurs candidatures avaient été examinées par un algorithme et que l’université stockait leurs données pour se recycler et améliorer son système pour l’année suivante, UT Austin a refusé de répondre à la question. GRADE ne semble pas avoir été déployé dans d’autres départements ni dans d’autres universités.
Le professeur Miikkulainen, qui a aidé à inventer l’algorithme GRADE, a déclaré que l’outil n’était pas biaisé contre la race ou le sexe.
«Dans la mesure où nous pouvions mesurer les biais, nous avons constaté que le processus n’ajoutait pas de biais», a-t-il déclaré. Le registre. «En 2013, le biais n’était pas encore un sujet courant dans l’IA, et il y avait peu de techniques disponibles, mais notre choix de méthode d’apprentissage a créé une opportunité: le modèle de régression logistique apprend à attribuer des pondérations aux entités en fonction de leur importance dans la décision fabrication.
«Nous avons fait une expérience distincte dans laquelle nous avons inclus le sexe et l’origine ethnique, et nous avons constaté que GRADE leur attribuait un poids nul – en d’autres termes, ces caractéristiques n’avaient aucun pouvoir prédictif, c’est-à-dire que les examinateurs ne les avaient pas utilisées pour prendre des décisions. Donc, dans la mesure où il était alors possible de mesurer, GRADE était impartial à cet égard. “
Pas une idée populaire
Néanmoins, l’université s’est engagée à cesser d’utiliser GRADE dans son processus d’admission aux diplômés, craignant qu’elle ne soit biaisée, et cette opinion est partagée par d’autres universitaires.
«J’écoutais dans la conférence, et il est vrai que lors de la conférence, le département compsci de l’UT Austin a tweeté que par souci d’équité, ils ne l’utiliseraient plus», Steve Rolston, professeur de physique à l’Université du Maryland, Raconté Le registre.
Préoccupé par le potentiel de GRADE d’endommager la candidature d’un étudiant, il a envoyé un e-mail assurant aux étudiants que le système ne serait pas déployé au Maryland. “Selon les orateurs, le but de GRADE était de reproduire les décisions de leur comité d’admission, et en fait il a été formé sur les données précédentes du comité d’admission”, a-t-il dit.
“S’il est possible qu’il ait réussi cette tâche spécifique, il ne ferait que reproduire les biais qui existaient dans les décisions des comités, sans parler du fait que [machine-learning] les algorithmes ne donnent vraiment aucune indication sur la façon dont ils classent les choses. Lorsqu’ils utilisaient GRADE, ses résultats étaient toujours vérifiés par un humain, mais je crains que si on vous dit que l’algorithme a évalué quelqu’un de bas, cela colorerait inévitablement votre opinion et n’était donc pas nécessairement une bonne vérification du système.
“Tandis que [machine learning] C’est bien de faire de la classification d’images par exemple, je pense qu’il est très dangereux de l’utiliser pour des choses telles que l’embauche ou les admissions. Lorsque nous admettons une personne au programme d’études supérieures, nous évaluons son potentiel de réussite, compte tenu d’un ensemble limité de données d’entrée, dont une grande partie est subjective, [for example] lettre de recommandation. Il n’existe pas de processus quantitatif pour effectuer de telles identifications, il est donc peu probable qu’un algorithme soit utile. »
Miikkulainen confirmé à El Reg que UT Austin n’a pas l’intention de déployer un autre algorithme d’apprentissage automatique pour traiter les applications à l’avenir. ®