{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"O futuro da forma\u00e7\u00e3o em IA: A abordagem revolucion\u00e1ria da DisTRO"},"content":{"rendered":"

O grupo de investiga\u00e7\u00e3o de IA aplicada Nous Research desenvolveu um optimizador de treino de modelos de IA que poder\u00e1 mudar radicalmente a forma como os modelos de IA do futuro ser\u00e3o treinados.<\/strong><\/p>\n

Tradicionalmente, o treino de um modelo de IA requer centros de dados maci\u00e7os repletos de GPUs, como as H100 da NVIDIA, e interliga\u00e7\u00f5es de alta velocidade para sincronizar actualiza\u00e7\u00f5es de gradientes e par\u00e2metros entre GPUs.<\/p>\n

Cada etapa de treino requer a partilha de grandes quantidades de dados entre milhares de GPUs. A largura de banda necess\u00e1ria significa que estas GPUs precisam de estar ligadas por cabo e fisicamente pr\u00f3ximas umas das outras. Com o DisTRO, a Nous Research pode ter encontrado uma forma de mudar isso completamente.<\/p>\n

\u00c0 medida que um modelo \u00e9 treinado, um algoritmo optimizador ajusta os par\u00e2metros do modelo para minimizar a fun\u00e7\u00e3o de perda. A fun\u00e7\u00e3o de perda mede a diferen\u00e7a entre as previs\u00f5es do modelo e os resultados reais, e o objetivo \u00e9 reduzir esta perda tanto quanto poss\u00edvel atrav\u00e9s da forma\u00e7\u00e3o iterativa.<\/p>\n

DisTrO-AdamW<\/a> \u00e9 uma varia\u00e7\u00e3o do popular algoritmo optimizador AdamW. DisTrO significa \"Distributed Training Over-the-Internet\" e indica o que o torna t\u00e3o especial.<\/p>\n

O DisTrO-AdamW reduz drasticamente a quantidade de comunica\u00e7\u00e3o inter-GPU necess\u00e1ria durante o treinamento de grandes redes neurais. E faz isso sem sacrificar a taxa de converg\u00eancia ou a precis\u00e3o do processo de treinamento.<\/p>\n

Em testes emp\u00edricos, o DisTrO-AdamW conseguiu uma redu\u00e7\u00e3o de 857x na comunica\u00e7\u00e3o entre GPUs. Isto significa que a abordagem DisTrO pode treinar modelos com precis\u00e3o e velocidade compar\u00e1veis, mas sem a necessidade de hardware dispendioso e de elevada largura de banda.<\/p>\n

Por exemplo, durante o pr\u00e9-treino de um LLM de 1,2 mil milh\u00f5es, o DisTrO-AdamW igualou o desempenho dos m\u00e9todos tradicionais, reduzindo a largura de banda necess\u00e1ria de 74,4 GB para apenas 86,8 MB por passo de treino.<\/p>\n

\n

E se pudesse utilizar todo o poder de computa\u00e7\u00e3o do mundo para treinar um modelo de IA partilhado e de c\u00f3digo aberto?<\/p>\n

Relat\u00f3rio preliminar: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

A Nous Research tem o prazer de publicar um relat\u00f3rio preliminar sobre o DisTrO (Distributed Training Over-the-Internet), uma fam\u00edlia de... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26 de agosto de 2024<\/a><\/p><\/blockquote>\n