A plataforma de computação em nuvem Snowflake e a Nvidia uniram-se para lançar uma plataforma que permite aos utilizadores da Snowflake criar aplicações de IA personalizadas com os seus dados.
A parceria foi anunciada na Snowflake Summit 2023, onde o CEO da Nvidia, Jensen Huang, foi presenteado com uma prancha de snowboard pelo CEO da Snowflake, Frank Slootman.
A colaboração envolve a integração da plataforma NeMo da Nvidia para modelos de linguagem de grande dimensão (LLM) na Snowflake Data Cloud. Isto permitirá às empresas utilizar os dados armazenados nas contas da Snowflake para desenvolver LLMs.
Eis como funciona:
- Muitas empresas já utilizam o Snowflake para armazenar dados internos.
- As empresas utilizam a estrutura NeMo da Nvidia para criar IAs com os seus dados.
- Treinam e implementam essas aplicações com as GPUs da Nvidia.
O Microsoft Azure ofereceu um produto semelhante no início do ano, mostrando que as grandes empresas de tecnologia querem oferecer às empresas mais opções para utilizar os seus próprios dados para criar modelos de IA.
O NeMo da Nvidia, uma plataforma empresarial nativa da nuvem, permite aos utilizadores criar, personalizar e implementar modelos de IA generativos com milhares de milhões de parâmetros. O plano é que a Snowflake hospede e execute o NeMo dentro do Snowflake Data Cloud, abrindo caminho para que os clientes desenvolvam e implementem LLMs personalizados para aplicativos de IA generativos.
Manuvir Das, diretor da Nvidia para a computação empresarial, discutiu a forma como isto permite aos clientes da Snowflake tirar partido da infraestrutura de IA de ponta da Nvidia.
"Eles podem trabalhar com seus dados proprietários para criar... aplicativos de IA geradores de ponta sem movê-los para fora do ambiente seguro do Data Cloud. Isso reduzirá os custos e a latência, mantendo a segurança dos dados", disse ele.
Huang destacou o papel dos dados na elaboração de aplicativos de IA generativa que funcionam com dados corporativos: "Juntos, a Nvidia e a Snowflake criarão uma fábrica de IA que ajuda as empresas a transformar seus valiosos dados em modelos de IA generativa personalizados para alimentar novos aplicativos inovadores - diretamente da plataforma em nuvem que eles usam para administrar seus negócios.
Esta configuração permite que as empresas já utilizem dados armazenados no Snowflake - não precisam de os mover de outro local. Isso não só é muito mais rápido do que criar pipelines de desenvolvimento de IA do zero, como também é mais seguro.
As empresas estão a tentar tirar partido dos seus dados para a IA
As empresas querem tirar o máximo partido da IA, mas muitas vezes não dispõem da tecnologia para o fazer - mesmo que possuam conhecimentos de ciência de dados e de engenharia.
Algumas empresas são a viragem para modelos de código aberto mas a solução da Nvidia é escalável para aplicações de Big Data que envolvem terabytes ou mesmo petabytes de dados.
Das postula que as empresas que implementam modelos personalizados de IA generativa treinados em seus próprios dados proprietários estarão um passo à frente daquelas que usam modelos específicos de fornecedores. É o melhor dos dois mundos, onde os dados proprietários se juntam às ferramentas de IA de ponta da Nvidia no ecossistema Snowflake.
"Mais de 8.000 clientes da Snowflake armazenam exabytes de dados na Snowflake Data Cloud. À medida que as empresas procuram adicionar capacidades de IA generativa às suas aplicações e serviços, estes dados são o combustível para a criação de modelos de IA generativa personalizados", explicou Das.
A Nvidia fornece computação acelerada e software de IA como parte desta parceria. As duas empresas estão atualmente a desenvolver em conjunto o motor de IA da Nvidia com o Data Cloud da Snowflake.
Nas palavras de Das, "a IA generativa é uma oportunidade de vários biliões de dólares e tem o potencial de transformar todos os sectores, à medida que as empresas começam a criar e a implementar modelos personalizados utilizando os seus valiosos dados".
O enorme aumento de valor da Nvidia este ano alimentou um vasto número de novos projectos de software e hardware.
Por exemplo, as suas novas GPUs H100 estabelecem novos padrões de referência no desempenho de treino de IA, permitindo novas gerações de modelos maiores e melhores.
