Apprentissage automatique à la dure : l’erreur de diagnostic fatale d’IBM Watson

Avis Cela a commencé dans Jeopardy et s’est terminé par une défaite. Le produit phare d’IBM, AI Watson Health, a été vendu à des capital-risqueurs pour une somme non divulguée estimée à environ un milliard de dollars, soit le quart de ce que la division a coûté à IBM en acquisitions seules depuis sa scission en 2015.

Pas le premier ni le dernier biz technologique massivement coûteux, mais l’IA n’est-elle pas censée être l’avenir ? IBM n’est-il pas censé être bon dans ce domaine ?

Tout a si bien commencé. L’une des premières pièces de théâtre de Watson consistait à prendre un ensemble complexe de symptômes et à trouver le diagnostic le plus probable à partir d’une connaissance encyclopédique des maladies rares. Un défi différent a marqué sa disparition. Comme un cadavre avec un cou cassé, 15 impacts de balles et une forte odeur de cyanure, cela a soulevé la question : quel échec massif l’a réellement achevé ?

Un bon médecin prend une anamnèse complète, alors commençons à la naissance. La première fois que la plupart des gens ont connu IBM Watson, c’était en 2011, lorsqu’il a utilisé son traitement du langage naturel et ses modèles de connaissances volumineux pour gagner Péril, un jeu télévisé américain.

Un coup de marketing et de relations publiques, IBM n’a pas perdu de temps pour lancer Watson Health à l’arrière. Avec ce type d’analyse automatisée, la société a promis que les médecins pourraient diagnostiquer plus précisément, plus rapidement et à moindre coût. Les traitements seraient plus précisément ciblés pour un plus grand nombre de patients. Une révolution dans le domaine de la santé était en marche.

C’est beaucoup à promettre après un jeu télévisé, mais IBM était optimiste. Le nouveau siège social brillant de Manhattan a été dévoilé avec une “salle d’immersion” qui place les parieurs et les journalistes à l’intérieur d’un dôme semblable à un planétarium où Watson pourrait montrer ses fabuleux talents. Des partenaires institutionnels et commerciaux ont été signés pour le co-développement, et la magie de transformer le battage médiatique en réalité a commencé.

IBM a essayé de contourner cela en achetant d’autres sociétés avec des produits médicaux d’IA performants, pour absorber leur bonté, mais Watson a systématiquement rejeté les greffes.

En 2019, IEEE Spectrum, la revue de l’organisme professionnel américain d’ingénierie électronique, rapportait qu’une cinquantaine de partenariats avaient été annoncés depuis son lancement entre IBM Watson et des organisations de santé.

Il a répertorié 20 des plus en vue, avec des organismes aussi augustes que la Mayo Clinic, des organisations nationales américaines pour la recherche sur le cancer, la cardiologie et l’oncologie, et de nombreux hôpitaux et entreprises. Aucun n’avait produit d’outils ou d’applications utilisables.

À l’époque (nous ne pouvons pas en parler aujourd’hui), Watson Health ne semblait pas fonctionner. Il est généralement possible de tromper un tel malheur dans la technologie des entreprises, car les statistiques peuvent être habillées, les retours sur investissement laissés agréablement flous et suffisamment de feuilles de vigne cueillies et enfilées pour que les DSI puissent passer sans honte au prochain échec. La médecine utilise de vraies statistiques. Il publie. Il vérifie les résultats, car il ne vend pas de widgets, il essaie de garder les gens non morts, idéalement heureusement.

Lorsque les essais cliniques ont été publiés, Watson a échoué à chaque fois. Peu importe le domaine dans lequel il se trouvait, il obtenait systématiquement de moins bons résultats que les cliniciens humains – parfois moins de 50 % – et présentait des angles morts alarmants dans les traitements suggérés. Les professionnels de la santé avaient suffisamment de soucis à se faire sans garder une IA cassée : elle a été abandonnée.

Vous pouvez apprendre les règles de Péril dans une minute. Devenir médecin prend 10 ans. Devenir le meilleur médecin possible prend toute une vie. Les données médicales, que ce soit dans la littérature ou dans les résultats des tests, sont dénuées de sens ou trompeuses sans beaucoup de contexte implicite. Watson Health ne pouvait pas travailler dans de nombreux domaines à la fois ; qui a besoin d’une intelligence générale que l’IA n’a pas actuellement. Il devait évoluer à partir de zéro avec des experts dans chaque spécialité, en les laissant définir les règles, les méthodes de travail, les connaissances importantes et pourquoi. Vous ne pouvez pas faire cela avec une salle d’immersion. Si vous promettez et ne tenez pas vos promesses, vous n’obtiendrez pas l’aide dont vous avez besoin pour améliorer les choses. Une fois que vous avez soufflé la confiance, vous êtes grillé.

IBM a essayé de contourner cela en achetant d’autres sociétés avec des produits médicaux d’IA performants, pour absorber leur bonté, mais Watson Health a systématiquement rejeté les greffes. Les entreprises qui pouvaient prospérer par elles-mêmes contre une petite concurrence agile et ciblée ne pouvaient pas prospérer lorsqu’elles étaient cousues dans le système marketing de Watson. Les clients sont partis et les employés nouvellement acquis ont abandonné lorsque les chiffres se sont effondrés.

Watson Health d’IBM a échoué à l’époque, comme tant d’AL/ML, parce qu’il ne savait pas quelle était la question – ironique, puisque le jeu de Péril dans lequel il excellait, il s’agissait de déduire des questions à partir de données. Il voulait automatiser les aspects les plus qualifiés des soins de santé, du diagnostic et du traitement, mais le problème n’était pas d’obtenir le plus de données et le meilleur algorithme. Le problème était plutôt un problème de sens.

Un bon médecin voit le patient, pas les symptômes. Watson a vu les symptômes de l’inefficacité et du manque de capacité. Il n’a pas vu le processus de soins et de guérison, où les médecins, et non les données, étaient ce qu’il fallait comprendre.

Heureusement, ce triste cas ne signifie pas que les outils basés sur l’IA ne peuvent pas fonctionner en médecine, ni même que Watson Health ne le fera pas, ni que l’évaluation et l’adoption des IA ont été ralenties. Posez les bonnes questions, telles que « pourquoi certains patients sont-ils réadmis » et pouvez-vous les repérer rapidement ?, et vous obtiendrez les bonnes réponses. L’IA dans les soins de santé est en cours d’adoption et montre tous les signes qu’elle mérite sa place.

Il ne gagne cette place que lorsqu’il est soumis aux mêmes normes que tout autre aspect des soins de santé. L’IA/ML dans les affaires générales ne réussira qu’une fois que nous aurons appris à repérer les Watson. Définissez des tests précoces avec des objectifs clairs et des résultats clairs. Fixez des délais – il a fallu de nombreuses années à Watson Health pour mourir, mais il échouait dans les trois ans. Si vous ne pouvez pas livrer la preuve de concept, arrêtez. Si vous ne pouvez même pas décider d’une preuve de concept, ne commencez même pas.

Peut-être que le meilleur héritage que Watson Health a laissé de sa courte période troublée avec nous est un jeu dans l’esprit de Péril. Appelons-le Hyperespace. Entrez simplement “IBM Watson” et une année entre 2011 et 2021 dans le moteur de recherche de votre choix, et voyez si vous pouvez déterminer à quel point les choses se sont mal passées cette année-là à partir du mélange de battage médiatique dirigé par IBM et de nouvelles dirigées par la réalité. rapports. Il y a un modèle là-bas. Cela vaut la peine d’apprendre – après tout, cela coûte assez cher. ®