A xAI, empresa de Elon Musk, revelou a sua mais recente criação: um supercomputador chamado Colossus.
Este sistema de treino massivo de IA conta atualmente com 100 000 processadores Nvidia Hopper H100.
Localizado em Memphis, Tennesse, o Colossus vai ser expandido com 50.000 dos novos e mais avançados chips da série H200 da Nvidia, aproximadamente duas vezes mais potentes do que os H100.
Isso tornaria quase de certeza o Colossus o computador mais poderoso do planeta, se é que já não o é.
Para contextualizar, a Meta tinha anunciado planos para acumular 350 000 GPUs H100 até ao final de 2024, enquanto a OpenAI se acreditava que utilizaria apenas cerca de 25 000 GPUs para a GPT-4, embora pudesse ser muito mais.
O próprio Musk anunciou o lançamento do Colossus no X durante o fim de semana do Dia do Trabalhador, afirmando: "Do princípio ao fim, foi feito em 122 dias. O Colossus é o sistema de treino de IA mais poderoso do mundo. Além disso, ele vai dobrar de tamanho para 200k (50k H200s) em alguns meses."
Este fim de semana, o @xAI A equipa colocou online o nosso cluster de formação Colossus 100k H100. Do início ao fim, tudo foi feito em 122 dias.
O Colossus é o sistema de treino de IA mais poderoso do mundo. Além disso, duplicará o seu tamanho para 200k (50k H200s) dentro de alguns meses.
Excelente...
- Elon Musk (@elonmusk) 2 de setembro de 2024
Alimentar o futuro da Grok
O objetivo imediato do Colossus é treinar o modelo de linguagem de grande dimensão (LLM) da xAI, conhecido como Grok.
Atualmente, o Grok só está disponível para subscritores pagantes da plataforma de redes sociais X de Musk. A empresa já lançou uma versão beta inicial do Grok-2, que foi treinada em cerca de 15.000 Nvidia H100s.
Apesar deste conjunto de dados de treino relativamente pequeno, o Grok-2 já é considerado um dos modelos de linguagem grande de IA mais capazes, de acordo com as tabelas de classificação de chatbots competitivos.
É também de código aberto, contrariando a tendência de lançamentos de modelos de código fechado dos concorrentes OpenAI, Anthropic e Google.
As ambições de Musk para o Grok são extravagantes. Já está a pensar no Grok-3, que deverá ser lançado em dezembro de 2024.
Numa entrevista de julho a Jordan Peterson, Musk afirmou corajosamente: "O Grok-3 deverá ser a IA mais poderosa do mundo nessa altura".
O enorme aumento no número de GPUs para treinar o Grok-3 sugere que Musk está a falar a sério sobre esta afirmação.
E os outros objectivos da xAI?
Fundada em julho de 2023, A xAI pretende, em última análise, descobrir "Que raio se passa realmente?" Em As palavras de MuskIsso significa investigar questões fundamentais sobre a realidade, a matéria negra, a Paradoxo de Fermie outros mistérios cósmicos.
A equipa fundadora da xAI foi escolhida para perseguir essa visão. Igor Babuschkin, que trabalhou anteriormente no Grande Colisor de Hádrons no CERN, declarou que a empresa quer "realmente fazer mossa na nossa compreensão do universo".
Jimmy Ba, um investigador de IA da Universidade de Toronto, explicou o objetivo de construir uma "máquina de resolução de problemas de uso geral" para resolver os problemas mais difíceis da humanidade.
Para alimentar a sua investigação e desenvolvimento, a xAI garantiu $6 mil milhões numa ronda de financiamento da Série B em maio de 2024, com o apoio de empresas de capital de risco como a Andreessen Horowitz e a Sequoia Capital, bem como de investidores com grandes recursos como a Fidelity e a Kingdom Holding do príncipe saudita Alwaleed bin Talal.
Muitos especialistas da Tesla acreditam que o Grok poderia eventualmente alimentar a IA por detrás do robô humanoide da Tesla, o Optimus. Musk afirmou que o Optimus poderia gerar $1 trilião de lucros anuais para a Tesla. Musk também deu a entender que poderia propor um investimento de $5 mil milhões da Tesla na xAI, o que foi bem acolhido por alguns acionistas.
Com o Colossus agora em linha, poderá a xAI estar preparada para fazer a transição para além da criação de mais LLMs e tentar algo novo e arrojado?
Claro, o Grok-3 será provavelmente muito poderoso. Provavelmente, será apenas ligeiramente mais poderoso do que os seus pares, e apenas por um curto período de tempo até que algo o ultrapasse.
Há que questionar os objectivos fundamentais a longo prazo. As empresas de IA estão a competir com modelos semelhantes treinados com conjuntos de hardware praticamente idênticos. É dispendioso e a inovação corre o risco de estagnar com ganhos pequenos e incrementais.
Isto deixa o campo aberto a um dos principais actores para ultrapassar a era dos LLM. Com o Colossus, será que a xAI será a primeira a dar um passo em frente, como Musk deu a entender aquando da sua fundação?
