Les deepfakes en temps réel peuvent être battus par un regard de côté

  • FrançaisFrançais



  • Les vidéos deepfake en temps réel, annoncées comme porteuses d’une nouvelle ère d’incertitude sur Internet, semblent avoir un défaut fondamental : elles ne peuvent pas gérer les profils secondaires.

    C’est la conclusion tirée dans un rapport [PDF] de Metaphysic.ai, spécialisé dans les avatars 3D, la technologie deepfake et le rendu d’images 3D à partir de photographies 2D. Lors de tests effectués à l’aide de l’application deepfake populaire en temps réel DeepFaceLive, un virage serré sur le côté a clairement montré que la personne à l’écran n’était pas celle qu’elle semblait être.

    Plusieurs modèles ont été utilisés dans le test – plusieurs provenant de communautés deepfake et de modèles inclus dans DeepFaceLive – mais une vue à 90 degrés du visage a provoqué un scintillement et une distorsion alors que le réseau d’alignement facial utilisé pour estimer les poses avait du mal à comprendre ce qu’il voyait.

    Une paire d’images des tests de Metaphysic montrant un Jim Carrey profondément falsifié et le résultat d’un virage sur le côté.

    “La plupart des algorithmes d’alignement facial basés sur la 2D n’attribuent que 50 à 60 % du nombre de points de repère d’une vue de face à une vue de profil”, a déclaré Martin Anderson, contributeur de Metaphysic.ai, qui a rédigé le billet de blog de l’étude.

    Sans pouvoir voir suffisamment de points de référence, le logiciel ne sait tout simplement pas comment projeter son faux visage.

    Faire dérailler les deepfakes

    En quelques années seulement, les deepfakes sont passés de la capacité de superposer des visages sur des images à la possibilité de faire la même chose dans des vidéos préenregistrées. Les dernières avancées permettent l’échange de visages en temps réel, ce qui a entraîné l’utilisation de plus de deepfakes dans la fraude en ligne et la cybercriminalité.

    Une étude de VMware a révélé que les deux tiers des personnes interrogées ont rencontré des deepfakes malveillants dans le cadre d’une attaque, soit une augmentation de 13 % par rapport à l’année précédente. Notez que l’étude de VMware n’a pas précisé si les attaques deepfake rencontrées par les répondants étaient préenregistrées ou en temps réel, et n’avait qu’un échantillon de 125 personnes.

    Le FBI a mis en garde en juin contre les escrocs utilisant la technologie deepfake lors des entretiens d’embauche à distance. Ceux qui utilisent cette technique ont été aperçus en train d’interviewer pour des emplois sensibles qui leur donneraient accès aux données des clients et aux informations exclusives des entreprises, a déclaré le FBI.

    Des vidéos Deepfake ont également été utilisées pour tromper un logiciel de reconnaissance faciale en direct, selon la startup de lutte contre la fraude en ligne Sensity AI. Les tests de Sensity ont révélé que neuf applications de fournisseurs sur dix ont été déverrouillées avec succès à l’aide d’une vidéo modifiée en profondeur diffusée à partir d’un téléphone mobile.

    Les craintes concernant la technologie sont devenues suffisamment sérieuses pour que l’Union européenne adopte des lois imposant des amendes aux entreprises qui ne parviennent pas à lutter suffisamment contre les deepfakes et autres sources de désinformation. La Chine a également rédigé des lois sur les deepfakes qui menacent de sanctionner l’utilisation abusive de la technologie, ainsi que l’exigence d’une autorisation pour toute utilisation légitime des deepfakes, ce que la Chine appelle la “synthèse profonde”.

    Une solution de contournement pour combien de temps?

    Selon le rapport de Metaphysic, même une technologie comme le champ de rayonnement neuronal (NeRF) de Nvidia, qui peut générer une scène 3D à partir de seulement quelques images fixes, souffre de limitations qui rendent difficile le développement d’une bonne vue de profil latérale.

    Les NeRF “peuvent, en théorie, extrapoler n’importe quel nombre d’angles faciaux à partir d’une poignée d’images. [However] les problèmes de résolution, de mobilité faciale et de stabilité temporelle empêchent NeRF de produire les données riches nécessaires pour former un modèle d’encodeur automatique capable de bien gérer les images de profil », a écrit Anderson. Nous avons contacté Nvidia pour en savoir plus, mais nous n’avons pas eu de réponse. encore.

    Les lecteurs noteront que les démonstrations de Metaphysic ne comprenaient que des visages de célébrités, dont de nombreuses vues de profil ont été capturées sur film et en photos. Les non-célèbres d’entre nous, en revanche, ont peu de chances d’avoir beaucoup de photos de profil sous la main.

    “À moins que vous n’ayez été arrêté à un moment donné, il est probable que vous n’ayez même pas une telle image, que ce soit sur les réseaux sociaux ou dans une collection hors ligne”, a écrit Anderson.

    Gaurav Oberoi, ingénieur logiciel et fondateur de la startup AI Lexion, a trouvé à peu près la même chose lors de recherches sur les deepfakes en 2018. Dans un article sur son blog, Oberoi a expliqué comment les deepfakes du comédien John Oliver superposés à l’animateur de fin de soirée Jimmy Fallon fonctionnaient bien, mais pas de profil.

    “En général, les images d’entraînement de votre cible doivent se rapprocher de l’orientation, des expressions faciales et de l’éclairage des vidéos dans lesquelles vous souhaitez les coller”, a déclaré Oberoi. “Donc, si vous construisez un outil d’échange de visage pour la personne moyenne, étant donné que la plupart des photos d’entre eux seront orientées vers l’avant, limitez les échanges de visage aux vidéos principalement orientées vers l’avant.”

    Cela signifie, en fait, que les escrocs utilisant des deepfakes en temps réel ont peu de chances d’avoir les données nécessaires pour créer une vue de profil latérale qui n’est pas immédiatement reconnaissable comme fausse (à condition qu’ils n’utilisent pas un visage de célébrité bien photographié) .

    Jusqu’à ce que nous sachions que les deepfakers ont trouvé un moyen de contourner cette lacune, c’est une bonne idée d’adopter la politique consistant à demander à la personne à l’autre bout de Zoom de vous montrer une vue latérale de son visage – célèbre ou non. ®

    L'équipe de Comparaland

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.