Surprise, surprise: les caméras IA vendues aux écoles de New York ont ​​du mal avec les gens de couleur et regorgent de faux positifs

En bref Une entreprise de sécurité canadienne a apparemment menti aux responsables du Lockport City School District de New York au sujet de la précision de ses caméras de reconnaissance faciale, lorsque la technologie a été installée dans les écoles l’année dernière.

Des documents, obtenus par Vice, montrent que le PDG de SN Technologies, KC Flynn, a affirmé que l’algorithme, id3, exécutant ses caméras avait été approuvé par le National Institute of Standards and Technology. Il s’est classé 49e sur 139 dans les tests de préjugé racial, a déclaré Flynn. Bien que id3 ait été testé par le NIST, un scientifique a nié en avoir testé un qui correspondait à la description de Flynn.

Les écoles pensent que les systèmes de vision par ordinateur peuvent détecter les armes et empêcher les fusillades. Mais les experts ont averti à plusieurs reprises que les faux positifs sont plus susceptibles de discriminer les étudiants noirs, les présentant comme des criminels présumés alors qu’ils ne le sont pas.

Un rapport a également montré que le logiciel de SN Technologies était pire pour identifier les Noirs que l’entreprise ne le permettait. Il a également confondu des objets comme les manches de balai avec des armes à feu. Les parents ont poursuivi le New York State Education Department (NYSED) pour avoir approuvé la reconnaissance faciale à utiliser dans les écoles de Lockport City.

Le président américain a exhorté le gouvernement à construire des systèmes d’IA fiables

Donald Trump a signé un décret cette semaine, décrivant neuf principes que le gouvernement américain respectera lors de la conception et de la mise en œuvre de la technologie d’IA.

Il a promis de faire respecter les droits constitutionnels et les lois pour protéger la vie privée et les libertés civiles, de s’assurer que les systèmes en place sont exacts, transparents, compréhensibles et régulièrement surveillés. Les agences qui déploient le logiciel seront tenues de veiller à ce que les principes soient appliqués.

«L’intelligence artificielle (IA) promet de stimuler la croissance de l’économie des États-Unis et d’améliorer la qualité de vie de tous les Américains», a déclaré l’ordonnance. «Compte tenu de la large applicabilité de l’IA, presque toutes les agences et celles desservies par ces agences peuvent bénéficier de l’utilisation appropriée de l’IA… Les agences sont encouragées à continuer à utiliser l’IA, le cas échéant, au profit du peuple américain. L’adoption et l’acceptation continues de l’IA dépendront considérablement de la confiance du public. »

Vous pouvez lire le document complet ici.

DeepMind se tourne vers JAX basé sur Python

PyTorch est le cadre privilégié de la communauté IA. Il a dépassé le TensorFlow maladroit et difficile à utiliser de Google, alors le géant de la recherche a décidé de proposer quelque chose de plus simple: JAX.

Comme PyTorch, JAX est également basé sur Python. Et cette semaine, DeepMind a décrit comment ses chercheurs l’utilisaient de plus en plus dans leurs travaux. «Nous avons constaté que JAX a permis une expérimentation rapide avec de nouveaux algorithmes et architectures et il sous-tend maintenant nombre de nos publications récentes», dit-il.

Il permet aux chercheurs de créer et de tester leurs logiciels plus rapidement et les a aidés à développer toutes sortes d’outils pour former des modèles, inspecter le code et créer des agents d’IA dans des expériences d’apprentissage par renforcement.

Vous pouvez en savoir plus à ce sujet ici.

MLCommons, un nouveau système de benchmarking pour l’infrastructure d’IA

L’équipe derrière MLPerf, un effort de l’industrie qui fournit des tests standard pour comparer le matériel d’apprentissage automatique, a lancé un nouveau projet appelé MLCommons.

«L’apprentissage automatique est un jeune domaine qui nécessite une infrastructure et une compréhension partagées à l’échelle de l’industrie», a déclaré David Kanter, directeur exécutif de MLCommons, dans un communiqué. «Avec nos membres, MLCommons est la première organisation qui se concentre sur l’ingénierie collective pour construire cette infrastructure.»

«Nous sommes ravis de lancer l’organisation aujourd’hui pour établir des mesures, des ensembles de données et des pratiques de développement qui seront essentiels pour l’équité et la transparence dans la communauté.

Il a publié People’s Speech, un ensemble de données public géant contenant plus de 80 000 heures d’échantillons vocaux, pour tester la capacité d’une machine à transcrire avec précision la parole en texte. Les entreprises qui vendent un tel outil sur le cloud, par exemple, peuvent participer à la concurrence pour savoir quel modèle est le plus précis.

Si ces efforts d’analyse comparative sont louables, ils ne sont utiles et efficaces que si le plus grand nombre d’entreprises y participent.

Le logiciel d’apprentissage automatique s’est amélioré pour identifier les visages couverts par des masques

Les masques faciaux sont monnaie courante pendant la pandémie de coronavirus. Cependant, le fait de couvrir la moitié inférieure de votre tasse empêche les logiciels de reconnaissance faciale d’identifier les visages.

Le NIST a examiné les effets du port de masque sur la technologie, plus tôt cette année en juillet, et a constaté que de nombreux fournisseurs se débattaient avec les mêmes problèmes. Les mêmes tests ont été refaits et cette fois-ci les choses se sont améliorées.

«Certains algorithmes plus récents élaborés par les développeurs ont été nettement meilleurs que leurs prédécesseurs. Dans certains cas, les taux d’erreur ont diminué d’un facteur 10 entre leurs algorithmes pré- et post-COVID », a déclaré Mei Ngan, un scientifique du NIST. «Dans les meilleurs cas, les algorithmes logiciels font des erreurs entre 2,4 et 5 [per cent] du temps sur des visages masqués, comparable à la technologie de 2017 sur des photos non masquées.

Le NIST a testé 152 algorithmes différents et a publié les résultats dans un rapport. Prenez-les avec une pincée de sel, cependant, car les images de test utilisaient des photographies de personnes avec des soi-disant «masques numériques» collés sur leur visage plutôt que de porter de vrais masques en tissu. ®