Un autre rappel que le biais, les tests et la diversité sont nécessaires dans l’apprentissage automatique: l’IA de culture d’images de Twitter peut favoriser les hommes blancs, les coffres des femmes

Twitter affirme que son IA qui recadre automatiquement les images dans les tweets ne présentait pas de préjugé racial ou sexiste lors de son développement – même si, en production, elle préfère peut-être rogner les personnes à la peau sombre et se concentrer sur la poitrine des femmes. Le réseau social a reconnu qu’il a encore du travail à faire pour répondre aux préoccupations.

“Notre équipe a fait des tests de partialité avant d’envoyer le modèle et n’a pas trouvé de preuve de partialité raciale ou sexiste lors de nos tests”, a déclaré un porte-parole de Twitter dans un communiqué. Le registre et posté sur les services de médias sociaux. “Mais il est clair à partir de ces exemples que nous avons plus d’analyses à faire. Nous continuerons à partager ce que nous apprenons, les actions que nous entreprenons, et nous ouvrirons notre analyse afin que d’autres puissent l’examiner et la répliquer.”

Au cours du week-end, divers utilisateurs de Twitter ont émis l’hypothèse que le code utilisé par Twitter pour sélectionner la partie visible des images affichées dans les flux Twitter était biaisé contre les personnes à la peau foncée. Cela était basé sur quelques exemples publiquement cités de cadrage de photos sur Twitter utilisant des images de personnes à la peau claire et à la peau foncée qui inclinaient vers la personne à la peau claire. Essentiellement, lorsque vous tweetez une photo, la façon dont elle est visualisée dépend de l’appareil que vous utilisez: si vous regardez sur un smartphone ou un ordinateur de bureau, Twitter sélectionne un recadrage qui correspond à l’écran que vous utilisez, par exemple. Ce qui a tendance à se produire, il semble que, étant donné le choix, Twitter recadre l’image de sorte qu’une personne à la peau plus claire soit visible, ou une poitrine féminine (vraiment NSFW).

Ingénieurs logiciels Twitter écrit au sujet de l’algorithme de recadrage d’image du Web biz en 2018, qui a été conçu pour se concentrer sur la «saillance» – l’importance calculée des différentes caractéristiques de l’image – plutôt que sur les visages, l’objectif précédent du cadrage de l’image de Twitter.

Les allégations de racisme ont également suscité un rappel d’Anima Anandkumar, professeur d’informatique à Caltech et directeur du groupe de recherche sur l’apprentissage automatique de Nvidia, que les préjugés sexistes continuent d’être un problème. L’année dernière, elle a souvent souligné le recadrage d’images sur Twitter et d’autres plateformes comme Google News se concentre sur les torses des femmes plutôt que leurs têtes.

Les problèmes de ce genre se révèlent plutôt courants. Par exemple, l’algorithme de Zoom pour remplacer les arrière-plans vidéo ne fait pas un très bon travail de détection des contours des visages sombres.

Il s’avère que @zoom_us a un algorithme de détection de visage merdique qui efface les visages noirs … et détermine qu’un joli globe pâle en arrière-plan doit être un meilleur visage que ce qui devrait être évident.

– Colin Madland (@colinmadland) 19 septembre 2020

Les préoccupations concernant les préjugés ou les résultats injustes dans les systèmes d’IA sont apparues ces dernières années, car la technologie s’est infiltrée dans le recrutement, les assurances, l’application de la loi, la publicité et d’autres aspects de la société. Un code préjugé peut être une source d’indignation sur les réseaux sociaux, mais il affecte l’accès des gens aux opportunités et aux ressources dans le monde réel. C’est quelque chose qui doit être traité au niveau national et international.

Divers facteurs entrent en jeu dans la création de systèmes insuffisamment neutres, tels que des données de formation non représentatives, le manque de tests sur divers sujets à grande échelle, le manque de diversité parmi les équipes de recherche, etc. Mais parmi ceux qui ont développé l’algorithme de recadrage de Twitter, plusieurs ont exprimé leur frustration quant aux hypothèses formulées sur leur travail.

Ferenc Huszár, ancien employé de Twitter, l’un des co-auteurs de la recherche sur la taille d’image de Twitter, et maintenant maître de conférences sur l’apprentissage automatique à l’Université de Cambridge, a reconnu qu’il y avait des raisons d’examiner les résultats que les gens ont rapportés, mais il a été mis en garde contre le saut. conclusions sur la négligence ou le manque de surveillance.

Une partie de l’indignation était basée sur un petit nombre de cas d’échec signalés. Bien que ces échecs semblent très mauvais, il y a du travail à faire pour déterminer dans quelle mesure ils sont associés à la race ou au sexe. Le biais d’échantillonnage et le biais de confirmation peuvent conduire à des conclusions prématurées

– Ferenc Huszár🇪🇺 (@fhuszar) 21 septembre 2020

Et Zehan Wang, responsable de l’ingénierie chez Twitter, a noté que des recherches sur les biais avaient été menées sur l’algorithme de recadrage d’images en 2017.

“Nous avons délibérément construit des paires d’images de visages d’origines ethniques et de sexe différents et les avons exécutés à travers le modèle de détection de saillance, en vérifiant les différences dans les scores de saillance,” il a écrit via Twitter. “Aucun biais significatif n’a été trouvé.”

Pendant ce temps, Vinay Prabhu, scientifique en chef chez UnifyID et titulaire d’un doctorat de Carnegie Mellon, a effectué un test de biais de recadrage sur un ensemble de 92 images de visages blancs et noirs et a trouvé un rapport Blanc / Noir de 40:52, ce qui plaide contre le biais pour cela. ensemble particulier.

(Mise à jour des résultats)

Rapport blanc / noir: 40:52 (92 images)

Code utilisé: https://t.co/qkd9WpTxbK

Annotation finale: https://t.co/OviLl80Eye

(J’ai créé @cropping_bias pour exécuter le terminer l’expérience. Attendre @Twitter pour approuver les informations d’identification du développeur) pic.twitter.com/qN0APvUY5f

– Vinay Prabhu (@vinayprabhu) 20 septembre 2020

Cependant, un ensemble d’images différent avec des caractéristiques différentes peut ne pas conduire aux mêmes résultats.

“C’est un problème universel avec les tests d’IA”, a déclaré Anandkumar lors d’une conversation Twitter DM avec Le registre. “Il y a tellement de cas extrêmes (longue traîne) dans le monde réel. Les méthodes actuelles d’apprentissage en profondeur ne permettent pas de les découvrir facilement pendant les tests en raison de leur nature de boîte noire. Il y a à la fois un biais dans les données et les méthodes d’apprentissage en profondeur ont tendance à amplifie et obscurcit le problème. “

Anandkumar a exprimé son scepticisme quant à la mesure dans laquelle Twitter teste ses modèles d’IA. “La question est de savoir qui sont les sujets du test?” dit-elle. “S’ils sont majoritairement des hommes blancs hétérosexuels qui lorgnent sur la poitrine des femmes et préfèrent regarder la peau blanche, nous avons un énorme problème que leur regard devient universel. Nous cooptons tous maintenant leur regard à une échelle universelle.”

Directeur de la conception de Twitter Dantley Davis admis, “C’est à 100% de notre faute. Personne ne devrait dire le contraire. Maintenant, la prochaine étape est de le réparer.”

Ou du moins réparer “le perception de biais. “®