NeMo de Nvidia s’immerge dans Snowflake pour former l’IA

Sommet du flocon de neige Nvidia et la société d’entrepôt de données cloud Snowflake se sont associées pour aider les organisations à créer et à former leurs propres modèles d’IA personnalisés à l’aide des données qu’elles ont stockées sur la plate-forme de Snowflake.

Annoncée lors du Snowflake Summit à Las Vegas, cette décision verra le framework NeMo de Nvidia pour développer de grands modèles de langage (LLM) intégrés à Snowflake afin de permettre aux entreprises d’utiliser les données de leurs comptes Snowflake pour créer des LLM personnalisés pour les services d’IA générative, avec des chatbots, recherche et résumé répertoriés comme utilisations potentielles.

L’un des avantages de ce qui est vanté par les deux sociétés est que les clients peuvent créer ou personnaliser des LLM sans avoir à déplacer leurs données, ce qui signifie que toute information sensible peut rester stockée en toute sécurité dans la plate-forme Snowflake.

Cependant, Snowflake est fourni en tant que service autogéré que les clients déploient sur un hôte cloud de leur choix, et comme NeMo a été développé pour tirer parti du matériel GPU de Nvidia pour accélérer le traitement de l’IA, cela oblige les clients à s’assurer que leur fournisseur de cloud prend en charge les instances compatibles GPU pour rendre tout cela possible.

Il n’est pas non plus clair si NeMo devient une partie standard de Snowflake, ou si les deux devront être sous licence en tant que packages distincts. Nous mettrons à jour cet article si nous obtenons une réponse.

Ce nouveau partenariat saute sans vergogne dans le train LLM suite au regain d’intérêt pour les modèles d’IA générative provoqué par ChatGPT, surnommé le “moment iPhone de l’IA” par le PDG de Nvidia, Jensen Huang.

Mais selon Manuvir Das, vice-président de Nvidia pour l’informatique d’entreprise, ce partenariat avec Snowflake permet aux LLM d’être dotés des compétences nécessaires pour que de tels algorithmes d’IA remplissent leur fonction au sein d’une organisation.

“Un grand modèle linguistique est essentiellement formé avec beaucoup de données provenant d’Internet. Et puis il est doté de certaines compétences. Et vous pouvez vraiment considérer ce LLM comme un employé professionnel dans une entreprise. Et un employé professionnel a deux choses à leur disposition. Premièrement, ils ont beaucoup de connaissances qu’ils ont acquises, et l’autre est qu’ils ont un ensemble de compétences, des choses qu’ils savent faire », a déclaré Das.

“Ainsi, lorsque vous prenez un LLM, c’est essentiellement comme avoir une nouvelle recrue dans votre entreprise, un étudiant tout droit sorti de Harvard, par exemple.

“Si vous y réfléchissez du point de vue de l’entreprise, vous aimeriez vraiment avoir non seulement cette nouvelle recrue, mais un employé qui a 20 ans d’expérience de travail dans votre entreprise. Ils connaissent les activités de votre entreprise, ils connaissent les clients, les interactions précédentes avec les clients, ils ont accès aux bases de données, ils ont toutes ces connaissances.”

L’insertion du moteur de création de modèles qu’est NeMo dans Snowflake est destinée à permettre aux clients de prendre des modèles de base, de les former et de les affiner avec les données qu’ils ont dans leur Snowflake Data Cloud afin qu’ils acquièrent ces compétences, ou ils peuvent simplement commencer à partir du créer et former un modèle à partir de zéro, a déclaré Nvidia. Dans tous les cas, ils se retrouvent avec un modèle qui leur est propre et qui est également stocké dans Snowflake.

Le framework NeMo comprend des scripts pré-emballés et des exemples de référence, et fournit également une bibliothèque de modèles de base qui ont été pré-formés par Nvidia, selon Das.

Le président et chef de la direction de Snowflake, Frank Slootman, a déclaré dans un communiqué que le partenariat apporte les capacités d’apprentissage automatique de Nvidia aux vastes volumes de données d’entreprise propriétaires et structurées stockées par les utilisateurs de Snowflake, qu’il a décrit comme “une nouvelle frontière pour apporter des informations, des prédictions et des prescriptions sans précédent à le monde global des affaires. » ®