Les entreprises doivent être prudentes lorsqu’elles utilisent l’IA générative

Sommet DataGrail L’IA générative est un territoire inexploré, et ceux qui souhaitent l’explorer doivent être conscients des dangers, a averti le magasin de confidentialité DataGrail lors de son sommet cette semaine à San Francisco.

Presque toutes les entreprises utilisant la technologie sont confrontées à une pression croissante pour exploiter GenAI – et beaucoup craignent que si elles prennent du retard sur la tendance, elles pourraient perdre face à des concurrents plus innovants qui ont construit un outil ou un produit qui leur donnerait un avantage concurrentiel. Mais en plus de ses avantages, l’IA générative introduit toutes sortes de problèmes que les entreprises ne comprennent pas encore ou ne savent pas comment résoudre.

Les grands modèles de langage peuvent divulguer des informations sensibles et privées contenues dans leurs données de formation, par exemple. Afin d’effectuer des tâches telles que répondre à des requêtes, résumer des documents ou écrire du code, ils doivent ingérer d’énormes quantités de contenu.

Les cabinets d’avocats, les banques ou les hôpitaux formeront des modèles sur des données confidentielles contenant des informations personnelles identifiables, des détails financiers et des dossiers de santé. Comment peuvent-ils protéger les informations des clients et leur propre propriété intellectuelle contre les fuites accidentelles ?

Un développeur de Samsung a en fait alimenté le code source propriétaire de ChatGPT en espérant que cela pourrait aider à trouver des bugs. Les dirigeants d’Apple, de JPMorgan Chase et d’Amazon ont depuis interdit aux travailleurs d’utiliser ChatGPT et des outils similaires en interne, craignant que le créateur du logiciel, OpenAI, puisse s’entraîner sur leurs données et révéler leurs secrets commerciaux.

“C’est un peu comme les débuts de la sécurité logicielle”, a déclaré Alex Stamos, co-fondateur du groupe Krebs Stamos, un cabinet de conseil en cybersécurité et ancien responsable de la sécurité chez Facebook. Le registre au sommet.

« Vous savez, au début des années 2000, il y avait des entreprises qui disposaient d’une gamme d’applications commerciales ou même d’équipes produit sans contrôle de sécurité centralisé.

« Et nous en sommes un peu de retour avec l’IA. Si vous demandez au conseil d’administration : « selon vous, quels sont vos risques ? » ” Ils n’en ont aucune idée. Ou s’ils demandent à leurs dirigeants de leur dire ce qui se passe, ils ne peuvent presque jamais obtenir de réponse précise. “

Les développeurs de modèles d’IA générative offrent l’espoir d’une sécurité et d’une confidentialité légèrement meilleures pour les entreprises – OpenAI a promis de chiffrer et de ne pas s’entraîner sur le texte dans les conversations entre son chatbot et les clients ChatGPT Enterprise, par exemple. Mais cela ne résout pas d’autres types de problèmes liés à la technologie, comme sa tendance à générer de fausses informations – un phénomène connu sous le nom d’« hallucination ».

Joshua Browder, PDG de DoNotPay – une startup qui a développé un « robot avocat » pour aider automatiquement les consommateurs à faire des choses comme des concours de contraventions de stationnement en utilisant l’IA pour rédiger des e-mails ou des plaintes officielles – a déclaré que des erreurs factuelles rendraient certains services inefficaces.

“Qui est responsable des hallucinations ? Je pense que c’est la chose la plus importante”, a-t-il déclaré. Le registre. “Imaginez si vous essayez de faire appel d’un montant sur votre facture Internet et que [the AI] a dit qu’il y avait eu cinq pannes de service alors qu’il n’y en avait pas. Si vous utilisez un outil et qu’il ment, qui en est légalement responsable ? Est-ce le fournisseur de modèles ? Ou est-ce une entreprise qui l’utilise ? Est-ce le consommateur ? »

Pire encore, les chatbots pourraient finir par générer des réponses inappropriées, toxiques ou biaisées, ce qui pourrait nuire à la réputation des entreprises qui les utilisent pour interagir avec leurs clients. Les mesures de sécurité telles que les filtres de contenu peuvent bloquer les gros mots ou les demandes nuisibles, mais elles ne fonctionnent pas toujours.

“Nous ne savons pas encore vraiment ce qui va mal avec l’IA”, a déclaré Stamos. “C’est comme dans les années 90, quand les vulnérabilités fondamentales qui existent dans les logiciels n’étaient même pas encore découvertes. Nous aurions ces situations où chaque année il y aurait une conférence BlackHat ou une à la DEF CON, qui révolutionnerait totalement l’industrie, parce que tout d’un coup, les recherches d’une seule personne sur un type de défaut se sont révélées applicables à des milliers de produits différents.

“Et c’est là que nous en sommes avec l’IA : vous pouvez trouver une nouvelle façon de manipuler le système pour faire quelque chose de nuisible ou rompre ses promesses et vous ne pouvez pas vous y préparer, car personne ne savait que ce genre de problème existait auparavant.

“L’autre problème est que ces systèmes sont incroyablement compliqués – très peu de gens comprennent comment ils fonctionnent réellement. Ces choses sont si non déterministes et si complexes qu’il est impossible d’essayer de prédire quelles mauvaises choses peuvent arriver.”

Enfin, l’utilisation de l’IA générative présente d’autres risques, comme les problèmes de droits d’auteur. De nombreux outils sont formés à partir de données récupérées sur Internet, et les créateurs de contenu craignent d’être poursuivis en justice pour avoir généré du contenu basé sur des œuvres protégées, comme des livres, des chansons ou des œuvres d’art. Plus tôt ce mois-ci, Microsoft a déclaré qu’il défendrait les clients payants s’ils faisaient l’objet de poursuites pour droits d’auteur pour l’utilisation de ses outils Copilot.

Le contenu généré par l’IA ne peut pas être légalement protégé en vertu des lois actuelles sur le droit d’auteur aux États-Unis. Un développeur peut-il breveter une invention si celle-ci contient du code généré par un grand modèle de langage ? Coca-Cola a récemment lancé une saveur de boisson gazeuse qui aurait été créée par l’IA. La recette est un secret – mais si une autre entreprise était capable de la reproduire, serait-elle acceptable de la vendre ?

Ces énigmes sont difficiles à résoudre. Il y a trop d’inconnues à l’heure actuelle et elles touchent différents départements au sein des organisations qui ne sont peut-être pas habitués à travailler ensemble, comme les services juridiques, la conformité, le marketing, les ventes et l’informatique. L’important est d’être conscient que les dangers existent – ​​et d’être prêt lorsqu’ils surviennent. ®