Les affirmations de Google concernant la disposition de la puce d’IA surhumaine sont contestées

Rapport spécial Un article de recherche dirigé par Google et publié dans Nature, affirmant que les logiciels d’apprentissage automatique peuvent concevoir de meilleures puces plus rapidement que les humains, a été remis en question après qu’une nouvelle étude a contesté ses résultats.

En juin 2021, Google a fait la une des journaux pour avoir développé un système basé sur l’apprentissage par renforcement capable de générer automatiquement des plans d’étage optimisés pour les micropuces. Ces plans déterminent la disposition des blocs de circuits électroniques au sein de la puce : là où des éléments tels que les cœurs CPU et GPU, ainsi que la mémoire et les contrôleurs périphériques, reposent en fait sur la puce physique en silicium.

Google a déclaré qu’il utilisait ce logiciel d’IA pour concevoir ses puces TPU locales qui accélèrent les charges de travail d’IA : il utilisait l’apprentissage automatique pour accélérer ses autres systèmes d’apprentissage automatique.

Le plan d’étage d’une puce est important car il dicte les performances du processeur. Vous souhaiterez organiser soigneusement les blocs des circuits de la puce afin que, par exemple, les signaux et les données se propagent entre ces zones à une vitesse souhaitable. Les ingénieurs passent généralement des semaines ou des mois à affiner leurs conceptions en essayant de trouver la configuration optimale. Tous les différents sous-systèmes doivent être placés d’une manière particulière pour produire une puce aussi puissante, économe en énergie et petite que possible.

Aujourd’hui, la production d’un plan d’étage implique généralement un mélange de travail manuel et d’automatisation à l’aide d’applications de conception de puces. L’équipe de Google a cherché à démontrer que son approche d’apprentissage par renforcement produirait des conceptions meilleures que celles réalisées uniquement par des ingénieurs humains utilisant des outils industriels. Non seulement cela, Google a déclaré que son modèle a terminé son travail beaucoup plus rapidement que les ingénieurs itérant sur les mises en page.

“Malgré cinq décennies de recherche, la planification d’étages de puces a défié l’automatisation, nécessitant des mois d’efforts intenses de la part des ingénieurs de conception physique pour produire une disposition manufacturable… En moins de six heures, notre méthode génère automatiquement des plans d’étages de puces supérieurs ou comparables à ceux produits par les humains dans tous les domaines. indicateurs clés”, ont écrit les Googleurs dans leur article sur Nature.

La recherche a attiré l’attention de la communauté de l’automatisation de la conception électronique, qui s’orientait déjà vers l’intégration d’algorithmes d’apprentissage automatique dans leurs suites logicielles. Maintenant, les affirmations de Google sur son modèle meilleur que les humains ont été contestées par une équipe de l’Université de Californie à San Diego (UCSD).

Avantage injuste?

Dirigé par Andrew Kahng, professeur d’informatique et d’ingénierie, ce groupe a passé des mois à faire de l’ingénierie inverse du pipeline de planification d’étage décrit par Google dans Nature. Le géant du Web a caché certains détails sur le fonctionnement interne de son modèle, invoquant une sensibilité commerciale, de sorte que l’UCSD a dû trouver comment créer sa propre version complète pour vérifier les conclusions des Googlers. Notons que le professeur Kahng a été réviseur pour Nature lors du processus d’examen par les pairs de l’article de Google.

Les universitaires universitaires ont finalement découvert que leur propre recréation du code original de Google, appelé entraînement en circuit (CT) dans leur étude, fonctionnait en fait moins bien que les humains en utilisant les méthodes et outils traditionnels de l’industrie.

Qu’est-ce qui a pu causer cet écart? On pourrait dire que la recréation était incomplète, bien qu’il puisse y avoir une autre explication. Au fil du temps, l’équipe UCSD a appris que Google avait utilisé un logiciel commercial développé par Synopsys, un important fabricant de suites d’automatisation de la conception électronique (EDA), pour créer un arrangement de départ des portes logiques de la puce que le système d’apprentissage par renforcement du géant du Web a ensuite optimisé.

Les expériences montrent que le fait d’avoir des informations sur le placement initial peut améliorer considérablement les résultats de la tomodensitométrie

Le document de Google a mentionné que des outils logiciels standard de l’industrie et des ajustements manuels ont été utilisés après le modèle avait généré une mise en page, principalement pour s’assurer que le processeur fonctionnerait comme prévu et le finaliserait pour la fabrication. Les Googleurs ont fait valoir qu’il s’agissait d’une étape nécessaire, que le plan d’étage ait été créé par un algorithme d’apprentissage automatique ou par des humains avec des outils standard, et que son modèle méritait donc d’être reconnu pour le produit final optimisé.

Cependant, l’équipe de l’UCSD a déclaré qu’il n’y avait aucune mention dans le document Nature des outils EDA utilisés préalablement pour préparer une mise en page pour le modèle à itérer. On prétend que ces outils Synopsys ont peut-être donné au modèle une longueur d’avance suffisante pour que les véritables capacités du système d’IA soient remises en question.

“Cela n’était pas apparent lors de l’examen de l’article”, a écrit l’équipe universitaire à propos de l’utilisation de la suite Synopsys pour préparer une mise en page pour le modèle, “et n’est pas mentionné dans Nature. Les expériences montrent que le fait d’avoir des informations sur le placement initial peut améliorer considérablement les résultats CT .”

La nature enquête sur les recherches de Google

Certains universitaires ont depuis exhorté Nature à revoir l’article de Google à la lumière de l’étude de l’UCSD. Dans les e-mails au journal consulté par Le registreles chercheurs ont souligné les préoccupations soulevées par le professeur Kahng et ses collègues, et se sont demandé si l’article de Google était trompeur.

Bill Swartz, maître de conférences enseignant le génie électrique à l’Université du Texas à Dallas, a déclaré que l’article de Nature “a laissé beaucoup de [researchers] dans le noir” puisque les résultats impliquaient les TPU propriétaires du titan d’Internet et, par conséquent, impossibles à vérifier.

L’utilisation du logiciel de Synopsys pour amorcer le logiciel de Google doit être étudiée, a-t-il déclaré. “Nous voulons tous connaître l’algorithme réel afin de pouvoir le reproduire. Si [Google’s] revendications sont justes, alors nous voulons le mettre en œuvre. Il devrait y avoir de la science, tout devrait être objectif; si ça marche, ça marche”, a-t-il dit.

La nature racontée Le registre il examine le document de Google, bien qu’il n’ait pas dit exactement sur quoi il enquêtait ni pourquoi.

“Nous ne pouvons pas commenter les détails des cas individuels pour des raisons de confidentialité”, nous a dit un porte-parole de Nature. “Cependant, d’une manière générale, lorsque des préoccupations sont soulevées au sujet d’un article publié dans la revue, nous les examinons attentivement en suivant un processus établi.

“Ce processus implique une consultation avec les auteurs et, le cas échéant, la recherche de conseils auprès de pairs examinateurs et d’autres experts externes. Une fois que nous avons suffisamment d’informations pour prendre une décision, nous effectuons un suivi avec la réponse la plus appropriée et qui clarifie nos lecteurs. au résultat.”

Ce n’est pas la première fois que la revue effectue une enquête post-publication sur l’étude, qui fait l’objet d’un examen minutieux renouvelé. L’article des Googlers est resté en ligne avec une correction de l’auteur ajoutée en mars 2022, qui comprenait un lien vers une partie du code CT open source de Google pour ceux qui tentent de suivre les méthodes de l’étude.

Pas de préformation et pas assez de calcul ?

Les principaux auteurs de l’article de Google, Azalia Mirhoseini et Anna Goldie, ont déclaré que le travail de l’équipe UCSD n’est pas une mise en œuvre précise de leur méthode. Ils ont souligné que le groupe du professeur Kahng avait obtenu de moins bons résultats car ils n’avaient pré-formé leur modèle sur aucune donnée.

“Une méthode basée sur l’apprentissage sera bien sûr moins performante si elle n’est pas autorisée à apprendre de l’expérience antérieure. Dans notre article Nature, nous pré-entraînons sur 20 blocs avant d’évaluer sur des cas de test en attente”, ont déclaré les deux dans un communiqué. .

L’équipe du professeur Kahng n’a pas non plus formé son système en utilisant la même puissance de calcul que celle utilisée par Google, et a suggéré que cette étape n’avait peut-être pas été effectuée correctement, paralysant les performances du modèle. Mirhoseini et Goldie ont également déclaré que l’étape de prétraitement utilisant des applications EDA qui n’était pas explicitement décrite dans leur article Nature n’était pas assez importante pour être mentionnée.

“Le [UCSD] L’article se concentre sur l’utilisation du placement initial de la synthèse physique aux cellules standard de cluster, mais cela n’a aucune importance pratique. La synthèse physique doit être effectuée avant d’exécuter toute méthode de placement », ont-ils déclaré. « Il s’agit d’une pratique standard dans la conception de puces.

Le groupe UCSD, cependant, a déclaré qu’il n’avait pas pré-formé son modèle car il n’avait pas accès aux données propriétaires de Google. Ils ont cependant affirmé que leur logiciel avait été vérifié par deux autres ingénieurs du géant de l’internet, qui figuraient également sur la liste des co-auteurs de l’article de Nature. Le professeur Kahng présente aujourd’hui l’étude de son équipe à la conférence du Symposium international sur la conception physique de cette année.

Pendant ce temps, Google continue d’utiliser des techniques basées sur l’apprentissage par renforcement pour améliorer ses TPU, qui sont activement utilisés dans ses centres de données.

Googler licencié affirme que la recherche a été médiatisée pour un accord cloud lucratif

Par ailleurs, les affirmations du journal Nature de Google concernant des performances surhumaines ont été contestées en interne au sein du goliath Internet. L’année dernière, Satrajit Chatterjee, un chercheur en intelligence artificielle, a été licencié de Google pour un motif valable ; il a affirmé que c’était parce qu’il avait critiqué et contesté les conclusions du journal. Chatterjee a également été informé que Google ne publierait pas son article critiquant la première étude.

Il avait été accusé par d’autres Googleurs non seulement de critiquer mais aussi de harceler des collègues impliqués dans le projet, et a été placé sous enquête des RH pour son comportement présumé. Chatterjee a depuis poursuivi Google devant la Cour supérieure de Californie à Santa Clara pour licenciement abusif. Chatterjee a refusé de commenter cette histoire.

Dans sa plainte, qui a été amendée [PDF] Le mois dernier, les avocats de Chatterjee ont affirmé que Google envisageait de commercialiser son logiciel de génération de plans d’étage basé sur l’IA avec “Company S” alors qu’il négociait un accord Google Cloud d’une valeur de 120 millions de dollars avec S à l’époque. Chatterjee a affirmé que Google s’était fait le champion du document de plan d’étage pour aider à convaincre la société S de se joindre à cet important pacte commercial.

“L’étude a été réalisée en partie comme une première étape vers une commercialisation potentielle avec [Company S] (et mené avec des ressources de [Company S]). Comme cela a été fait dans le contexte d’un important accord potentiel sur le cloud, il aurait été contraire à l’éthique de laisser entendre que nous disposions d’une technologie révolutionnaire alors que nos tests ont montré le contraire », a écrit Chatterjee dans un e-mail au PDG de Google, Sundar Pichai, vice-président et ingénieur Fellow Jay. Yagnik, et le vice-président de Google Research Rahul Sukthankar, qui a été divulgué dans le cadre du procès.

Ses documents judiciaires accusaient Google d’avoir “exagéré” les résultats de son étude et de “retenir délibérément des informations importantes à la société S pour l’inciter à signer un accord d’informatique en nuage”, courtisant efficacement l’autre entreprise en utilisant ce qu’il considérait comme une technologie douteuse.

La société S est décrite comme une “société d’automatisation de la conception électronique” dans les documents judiciaires. Des personnes proches du dossier ont dit Le registre La société S est Synopsys.

Synopsys et Google ont refusé de commenter. ®