Cloudplatform Snowflake en Nvidia hebben de handen ineengeslagen om een platform te lanceren waarmee gebruikers van Snowflake op maat gemaakte AI-toepassingen kunnen maken met hun gegevens.
De samenwerking werd aangekondigd tijdens de Snowflake Summit 2023, waar Nvidia CEO Jensen Huang een snowboard cadeau kreeg van Snowflake CEO Frank Slootman.
De samenwerking betreft de integratie van Nvidia's NeMo-platform voor grote taalmodellen (LLM's) in de Snowflake Data Cloud. Hierdoor kunnen bedrijven de gegevens die zijn opgeslagen in Snowflake-accounts gebruiken om LLM's te ontwikkelen.
Zo werkt het:
- Veel bedrijven gebruiken Snowflake al om interne gegevens op te slaan.
- Bedrijven gebruiken het NeMo-raamwerk van Nvidia om AI's te bouwen met hun gegevens.
- Ze trainen en implementeren die toepassingen met de GPU's van Nvidia.
Microsoft Azure bood eerder dit jaar een soortgelijk product aan, waaruit blijkt dat grote techbedrijven bedrijven meer opties willen bieden om hun eigen data te gebruiken om AI-modellen te bouwen.
Nvidia's NeMo, een cloud-native enterprise platform, stelt gebruikers in staat om generatieve AI-modellen met miljarden parameters te bouwen, aan te passen en in te zetten. Het is de bedoeling dat Snowflake NeMo gaat hosten en uitvoeren binnen de Snowflake Data Cloud, zodat klanten op maat gemaakte LLM's voor generatieve AI-toepassingen kunnen ontwikkelen en implementeren.
Manuvir Das, Nvidia's hoofd voor enterprise computing, besprak hoe dit Snowflake-klanten in staat stelt om te profiteren van Nvidia's geavanceerde AI-infrastructuur.
"Ze kunnen met hun eigen gegevens werken om ... toonaangevende generatieve AI-toepassingen te bouwen zonder ze uit de beveiligde Data Cloud-omgeving te halen. Dit verlaagt de kosten en latentie terwijl de beveiliging van gegevens behouden blijft," zei hij.
Huang benadrukte de rol van data bij het maken van generatieve AI-toepassingen die werken met bedrijfsdata: "Samen zullen Nvidia en Snowflake een AI-fabriek creëren die bedrijven helpt hun waardevolle data om te zetten in aangepaste generatieve AI-modellen om baanbrekende nieuwe toepassingen aan te drijven - rechtstreeks vanuit het cloudplatform dat ze gebruiken om hun bedrijf te runnen."
Deze opzet stelt bedrijven in staat om gegevens te gebruiken die al in Snowflake zijn opgeslagen - ze hoeven ze niet ergens anders vandaan te halen. Dat is niet alleen veel sneller dan het helemaal opnieuw opbouwen van AI-ontwikkelpijplijnen, maar het is ook veiliger.
Bedrijven willen hun gegevens gebruiken voor AI
Bedrijven willen ten volle profiteren van AI, maar het ontbreekt ze vaak aan de technologie om dit te doen - zelfs als ze beschikken over expertise op het gebied van datawetenschap en engineering.
Sommige bedrijven zijn wenden tot open-source modellen De oplossing van Nvidia is schaalbaar voor Big Data-toepassingen met terabytes of zelfs petabytes aan gegevens.
Das stelt dat bedrijven die aangepaste generatieve AI-modellen inzetten die zijn getraind op hun eigen gegevens, een stap voor zullen zijn op bedrijven die gebruik maken van leverancierspecifieke modellen. Het is het beste van twee werelden, waar eigen gegevens samenkomen met de geavanceerde AI-tools van Nvidia binnen het Snowflake-ecosysteem.
"Meer dan 8.000 klanten van Snowflake slaan exabytes aan data op in Snowflake Data Cloud. Nu bedrijven generatieve AI-mogelijkheden willen toevoegen aan hun applicaties en diensten, zijn deze gegevens brandstof voor het maken van aangepaste generatieve AI-modellen", legt Das uit.
Nvidia levert versneld computergebruik en AI-software als onderdeel van dit partnerschap. De twee bedrijven werken momenteel samen aan de ontwikkeling van Nvidia's AI-engine met Snowflake's Data Cloud.
In de woorden van Das: "Generatieve AI is een kans van meerdere miljarden dollars en heeft de potentie om elke branche te transformeren als bedrijven aangepaste modellen beginnen te bouwen en in te zetten met behulp van hun waardevolle gegevens."
De enorme waardestijging van Nvidia dit jaar heeft geleid tot een groot aantal nieuwe software- en hardwareprojecten.
Hun nieuwe H100 GPU's zetten bijvoorbeeld nieuwe maatstaven op het gebied van AI-trainingsprestaties, waardoor nieuwe generaties grotere, betere modellen mogelijk worden.
