LowKey cool: Cette application Web va peaufiner vos photos pour les systèmes de reconnaissance faciale Flummox, apparemment

Un groupe d’informaticiens a publié une application Web axée sur la confidentialité pour empoisonner les images en ligne des gens afin qu’ils confondent les systèmes commerciaux de reconnaissance faciale.

L’application, appelée LowKey, est destinée à protéger les personnes d’une surveillance non autorisée. Il est basé sur une technique d’attaque antagoniste développée par les boffins de l’Université du Maryland Valeriia Cherepanova, Micah Goldblum, Shiyuan Duan, John Dickerson, Gavin Taylor, Tom Goldstein et le chercheur de l’Académie navale américaine Harrison Foley. Il modifie les images de sorte que les systèmes de reconnaissance faciale ne peuvent pas facilement utiliser les données pour trouver la personne représentée dans une autre image.

Les chercheurs décrivent leur travail dans un article intitulé «LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition», distribué via ArXiv et devant être présenté à la Conférence internationale sur les représentations d’apprentissage (ICLR) 2021 en mai.

Les auteurs disent que les systèmes de reconnaissance faciale déployés par les agences gouvernementales, les entrepreneurs et les entreprises privées dépendent de bases de données massives d’images collectées sur Internet.

Première rangée: images originales; Deuxième ligne: images protégées avec LowKey (moyen); Troisième rangée: Images protégées avec LowKey (grande) … Cliquez pour agrandir

«Les pratiquants peuplent leurs bases de données en accumulant des images accessibles au public sur les médias sociaux, et les utilisateurs sont donc obligés de choisir entre garder leurs images hors de la vue du public ou tenter leur chance avec une surveillance de masse», expliquent-ils. “LowKey est le premier outil de contournement efficace contre les API commerciales de reconnaissance faciale.”

D’autres systèmes de ce type ont été proposés, notamment Fawkes et l’attaque de classification d’image Camera Adversaria [PDF], sans parler des techniques de camouflage physique comme CV Dazzle et de la nouvelle norme des masques de coronavirus.

Cependant, Cherepanova, Goldblum et leurs collègues universitaires affirment que Fawkes est basé sur plusieurs hypothèses erronées liées à la manière dont les systèmes de reconnaissance faciale haute performance sont formés, à la taille de l’ensemble de données utilisé pour les tests et à l’accent mis sur un résultat unique. précision plutôt que des listes classées. Ils notent également que Fawkes n’a pas encore publié d’application ou d’outil Web et que la plupart des utilisateurs de médias sociaux ne prendront probablement pas la peine d’exécuter son code.

De plus, ils affirment que LowKey fonctionne bien mieux que Fawkes dans un test qui mesure si un ensemble d’images de galerie utilisées pour la formation à la reconnaissance faciale peut être comparé à des images de test ou de «sonde» de personnes représentées dans des images de galerie.

Moins que 1%

«Nous observons que LowKey est très efficace, et même dans le cadre d’une précision de rang 50, Rekognition ne peut reconnaître que 2,4% des images de sonde appartenant à des utilisateurs protégés avec LowKey», indique le document de recherche, où le rang 50 fait référence à la découverte. un vrai match de visage parmi les 50 premiers résultats. “En revanche, Fawkes échoue, avec 77,5% des images de sonde appartenant à ses utilisateurs reconnues correctement dans le cadre de rang 1 et 94,9% de ces images reconnues correctement lorsque les 50 correspondances les plus proches sont prises en compte.”

Dans le test de rang 1 – où l’algorithme de reconnaissance faciale est invité à faire correspondre une image à une seule personne de sa base de données – Rekognition obtient son droit 93,7% du temps avec une image propre mais seulement 0,6% du temps avec un Image traitée par LowKey.

Vous en avez assez des moteurs IA qui grattent vos photos pour la reconnaissance faciale? Voici un moyen de les Fawkes tout de suite

LIRE LA SUITE

LowKey fait encore mieux avec l’API Microsoft Azure Face Recognition, qui ne reconnaît que 0,1% des images de sonde d’une galerie protégée par LowKey. Avec Fawkes, indique le journal, le système Azure peut reconnaître plus de 74% des images modifiées à l’aide de Fawkes tout en gérant une précision d’environ 90% avec une image nette.

LowKey est efficace, affirment les auteurs, car il modifie les images de la galerie (celles qui se retrouvent dans l’ensemble de données de reconnaissance faciale) afin qu’elles ne correspondent pas aux images de sonde (test). Il le fait en générant une image perturbée avec des vecteurs de caractéristiques qui diffèrent sensiblement de l’original, mais d’une manière qui rend ces différences difficiles à percevoir.

“Intuitivement, cela signifie que les machines interprètent les traits du visage dans les images originales et perturbées de manière très différente, tandis que les humains les interprètent presque de la même manière”, ont expliqué Cherepanova et Goldblum dans un e-mail à Le registre aujourd’hui. “Ainsi, les humains peuvent toujours reconnaître qui est dans l’image perturbée, mais la représentation du système de reconnaissance faciale (” vecteur de caractéristiques “) est vraiment loin de là où elle devrait être.”

Cherepanova, doctorante en mathématiques appliquées à l’Université du Maryland, et Goldblum, chercheur postdoctoral à l’UMD, ont déclaré Le registre qu’ils espèrent que LowKey sera intégré dans les logiciels populaires, en particulier les plateformes de médias sociaux, bien qu’aucune discussion de ce type n’ait encore eu lieu.

Nous pensons que pour qu’un tel outil soit largement utilisé, il devra être pratique pour les utilisateurs

“Nous pensons que pour qu’un tel outil soit largement utilisé, il devra être pratique pour les utilisateurs”, ont-ils déclaré. “L’adoption par des entreprises comme Facebook de LinkedIn contribuerait grandement à atteindre cet objectif.”

Cherepanova et Goldblum affirment que si l’aspect le plus sinistre de la reconnaissance faciale est la surveillance de masse, la technologie est déjà utilisée plus spécifiquement par les services de police pour arrêter les manifestants et peut facilement être abusée en dehors des scénarios de surveillance de masse.

«De plus, le comportement des systèmes d’apprentissage automatique n’est pas interprétable par les humains, de sorte que les systèmes de reconnaissance faciale, bien qu’ils soient rapides et assez précis, peuvent faire des erreurs et peuvent présenter un degré élevé de discrimination raciale à l’insu des organisations qui les utilisent», expliquent-ils. “Il existe de nombreuses raisons pour lesquelles les gens ordinaires ne voudraient pas être exposés à ces systèmes.”

Ils disent qu’ils espèrent que leur travail et les projets connexes aideront à convaincre les gens de partager moins d’informations en ligne, même si des outils comme LowKey aident à protéger les images que les gens choisissent de partager. Ils reconnaissent également que des systèmes tels que LowKey peuvent dégrader la qualité des images et ils espèrent que de nouvelles recherches amélioreront la qualité de sortie. Mais comme ils le soulignent dans leur article, LowKey n’est pas efficace à 100% et peut être vaincu par des systèmes spécialement conçus.

«La difficulté de tromper ces systèmes d’apprentissage automatique devrait inciter les gens à envisager de divulguer moins de données personnelles au public», ont déclaré Cherepanova et Goldblum. ®