{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"L'avenir de la formation \u00e0 l'IA : L'approche de DisTrO qui change la donne"},"content":{"rendered":"

Le groupe de recherche en IA appliqu\u00e9e Nous Research a mis au point un optimiseur de formation de mod\u00e8les d'IA qui pourrait changer radicalement la fa\u00e7on dont les mod\u00e8les d'IA du futur seront form\u00e9s.<\/strong><\/p>\n

Traditionnellement, l'entra\u00eenement d'un mod\u00e8le d'IA n\u00e9cessite des centres de donn\u00e9es massifs \u00e9quip\u00e9s de GPU tels que les H100 de NVIDIA, ainsi que des interconnexions \u00e0 haut d\u00e9bit pour synchroniser les mises \u00e0 jour du gradient et des param\u00e8tres entre les GPU.<\/p>\n

Chaque \u00e9tape de formation n\u00e9cessite le partage de grandes quantit\u00e9s de donn\u00e9es entre des milliers de GPU. La bande passante requise implique que ces GPU soient c\u00e2bl\u00e9s et physiquement proches les uns des autres. Avec DisTrO, Nous Research a peut-\u00eatre trouv\u00e9 un moyen de changer compl\u00e8tement cette situation.<\/p>\n

Lors de l'apprentissage d'un mod\u00e8le, un algorithme optimiseur ajuste les param\u00e8tres du mod\u00e8le afin de minimiser la fonction de perte. La fonction de perte mesure la diff\u00e9rence entre les pr\u00e9dictions du mod\u00e8le et les r\u00e9sultats r\u00e9els, et l'objectif est de r\u00e9duire cette perte autant que possible gr\u00e2ce \u00e0 une formation it\u00e9rative.<\/p>\n

DisTrO-AdamW<\/a> est une variante de l'algorithme populaire de l'optimiseur AdamW. DisTrO est l'acronyme de \"Distributed Training Over-the-Internet\" (formation distribu\u00e9e sur Internet) et indique ce qui le rend si sp\u00e9cial.<\/p>\n

DisTrO-AdamW r\u00e9duit consid\u00e9rablement la quantit\u00e9 de communication inter-GPU requise lors de l'apprentissage de grands r\u00e9seaux neuronaux. Et ce, sans sacrifier le taux de convergence ou la pr\u00e9cision du processus d'apprentissage.<\/p>\n

Lors de tests empiriques, DisTrO-AdamW a permis de r\u00e9duire de 857 fois la communication inter-GPU. Cela signifie que l'approche DisTrO peut entra\u00eener des mod\u00e8les avec une pr\u00e9cision et une vitesse comparables, mais sans n\u00e9cessiter de mat\u00e9riel co\u00fbteux \u00e0 large bande passante.<\/p>\n

Par exemple, lors du pr\u00e9-entra\u00eenement d'un LLM de 1,2 milliard, DisTrO-AdamW a \u00e9gal\u00e9 les performances des m\u00e9thodes traditionnelles tout en r\u00e9duisant la bande passante requise de 74,4 Go \u00e0 seulement 86,8 Mo par \u00e9tape d'entra\u00eenement.<\/p>\n

\n

Et si vous pouviez utiliser toute la puissance de calcul du monde pour former un mod\u00e8le d'IA partag\u00e9 et libre ?<\/p>\n

Rapport pr\u00e9liminaire : https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research est fier de publier un rapport pr\u00e9liminaire sur DisTrO (Distributed Training Over-the-Internet), une famille de... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26 ao\u00fbt 2024<\/a><\/p><\/blockquote>\n