Meta dit qu’il construit le plus grand supercalculateur d’IA au monde à partir de puces Nvidia et AMD

  • FrançaisFrançais



  • Le propriétaire de Facebook, Meta, construit le plus grand supercalculateur d’IA au monde pour alimenter la recherche en apprentissage automatique qui donnera vie au métaverse à l’avenir, a-t-il affirmé lundi.

    Le nouveau super – surnommé Research Super Computer, ou RSC – contiendra 16 000 GPU Nvidia A100 et 4 000 processeurs AMD Epyc Rome 7742. Chaque nœud de calcul est un système Nvidia DGX-A100, contenant huit puces GPU et deux microprocesseurs Epyc, totalisant 2 000 nœuds.

    On s’attend à ce qu’il atteigne une performance maximale de 5 exaFLOPS à une précision mixte – FP16 et FP32 – et puisse alimenter 16 téraoctets d’informations de formation par seconde à partir de jusqu’à 1 EB de stockage basé sur le cache, nous dit-on.

    Le RSC est construit avec l’aide de Penguin Computing, un fournisseur HPC basé en Californie, qui fournira l’infrastructure et la sécurité gérée.

    “Meta a développé ce que nous pensons être le supercalculateur IA le plus rapide au monde”, a déclaré le PDG Mark Zuckerberg dans un communiqué à Le registre.

    “Nous l’appelons RSC pour AI Research SuperCluster et il sera terminé plus tard cette année. Les expériences que nous construisons pour le métaverse nécessitent une énorme puissance de calcul – des quintillions d’opérations par seconde – et RSC permettra de nouveaux modèles d’IA qui peuvent apprenez à partir de milliards d’exemples, comprenez des centaines de langues, et plus encore.”

    Nvidia a confirmé que la machine massive devrait être la plus grande installation client de systèmes DGX A100 une fois qu’elle sera entièrement construite et opérationnelle d’ici la mi-2022. “Il n’a fallu que 18 mois à RSC pour passer d’une idée sur papier à un supercalculateur d’IA fonctionnel”, a déclaré Nvidia.

    En savoir plus sur nos sites partenaires :

    Le RSC existe déjà, bien que sous une forme moins flashy, offrant 1 895 PFLOPS de performances TF32. À l’heure actuelle, il est composé de 760 systèmes Nvidia DGX-A100 contenant 1 520 processeurs AMD Rome 7742 et 6 080 GPU. Chaque GPU est connecté via Quantum InfiniBand de Nvidia, qui est capable de faire la navette entre les données à 200 gigaoctets par seconde. De plus en plus de nœuds seront ajoutés au fil de l’année.

    Le RSC peut également stocker jusqu’à 175 pétaoctets dans le matériel Pure Storage FlashArray, 46 pétaoctets dans un stockage de cache et 10 pétaoctets dans l’équipement de stockage d’objets FlashBlade de Pure. On espère que cette capacité se développera sur le territoire de l’exaoctet, en utilisant à nouveau les produits Pure. Pour mettre cela en perspective, Meta a déclaré que 1EB pourrait contenir 36 000 ans de vidéo de haute qualité.

    On estime que le supercalculateur est 9 fois plus rapide que le cluster de recherche précédent de Meta, composé de 22 000 GPU V100 d’ancienne génération de Nvidia, et 20 fois plus rapide que ses systèmes actuels qui exécutent des modèles d’IA en production. Ce cluster de recherche plus ancien pourrait gérer jusqu’à 35 000 emplois de formation par jour, nous dit-on.

    “L’avantage de cette nouvelle conception est que nous pouvons évoluer vers de nombreux GPU sans baisse de performances”, a déclaré un porte-parole de Meta. Le registre. “Nous prévoyons d’avoir un plus petit nombre de tâches de formation en cours d’exécution que notre précédente infrastructure de recherche sur l’IA, mais chaque tâche entraînerait des modèles plus grands pour utiliser pleinement la conception.”

    Meta se concentre sur la construction d’apprentissages auto-supervisés et de modèles basés sur des transformateurs. Ces architectures complexes sont faciles à faire évoluer. Ils peuvent gérer plusieurs types de données, telles que l’audio, le texte et les images, dans un seul modèle. Le RSC a été conçu spécifiquement pour la formation de modèles avec plus d’un billion de paramètres.

    “Nous espérons que RSC nous aidera à construire des systèmes d’IA entièrement nouveaux qui peuvent, par exemple, fournir des traductions vocales en temps réel à de grands groupes de personnes, chacun parlant une langue différente, afin qu’ils puissent collaborer de manière transparente sur un projet de recherche ou jouer à un jeu AR. ensemble”, ont expliqué Kevin Lee, responsable du programme technique Meta, et Shubho Sengupta, ingénieur logiciel, dans un article de blog.

    “En fin de compte, le travail effectué avec RSC ouvrira la voie à la création de technologies pour la prochaine plate-forme informatique majeure – le métaverse, où les applications et les produits basés sur l’IA joueront un rôle important.” ®

    L'équipe de Comparaland

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.