{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"Fremtiden for AI-trening: DisTrOs banebrytende tiln\u00e6rming"},"content":{"rendered":"

Forskergruppen Nous Research har utviklet en optimalisering av AI-modelltrening som kan endre m\u00e5ten fremtidens AI-modeller blir trent p\u00e5, p\u00e5 en dramatisk m\u00e5te.<\/strong><\/p>\n

Tradisjonelt krever oppl\u00e6ring av en AI-modell massive datasentre fullpakket med GPU-er, som NVIDIAs H100, og h\u00f8yhastighetsforbindelser for \u00e5 synkronisere gradient- og parameteroppdateringer mellom GPU-ene.<\/p>\n

Hvert treningstrinn krever at enorme datamengder deles mellom tusenvis av GPU-er. Den n\u00f8dvendige b\u00e5ndbredden betyr at disse GPU-ene m\u00e5 v\u00e6re fastkoblet og fysisk n\u00e6r hverandre. Med DisTrO kan Nous Research ha funnet en m\u00e5te \u00e5 endre dette fullstendig p\u00e5.<\/p>\n

Etter hvert som en modell trenes opp, justerer en optimaliseringsalgoritme modellens parametere for \u00e5 minimere tapsfunksjonen. Tapsfunksjonen m\u00e5ler forskjellen mellom modellens prediksjoner og de faktiske utfallene, og m\u00e5let er \u00e5 redusere dette tapet s\u00e5 mye som mulig gjennom iterativ trening.<\/p>\n

DisTrO-AdamW<\/a> er en variant av den popul\u00e6re AdamW-optimaliseringsalgoritmen. DisTrO st\u00e5r for \"Distributed Training Over-the-Internet\", og antyder hva som gj\u00f8r den s\u00e5 spesiell.<\/p>\n

DisTrO-AdamW reduserer drastisk mengden kommunikasjon mellom GPU-er som kreves under oppl\u00e6ring av store nevrale nettverk. Og dette skjer uten at det g\u00e5r ut over konvergenshastigheten eller n\u00f8yaktigheten i oppl\u00e6ringsprosessen.<\/p>\n

I empiriske tester oppn\u00e5dde DisTrO-AdamW en 857 ganger s\u00e5 stor reduksjon i kommunikasjonen mellom GPU-ene. Dette betyr at DisTrO-metoden kan trene opp modeller med sammenlignbar n\u00f8yaktighet og hastighet, men uten behov for dyr maskinvare med h\u00f8y b\u00e5ndbredde.<\/p>\n

For eksempel oppn\u00e5dde DisTrO-AdamW samme ytelse som tradisjonelle metoder under forh\u00e5ndstreningen av en 1,2 milliarder LLM, samtidig som den n\u00f8dvendige b\u00e5ndbredden ble redusert fra 74,4 GB til bare 86,8 MB per treningstrinn.<\/p>\n

\n

Hva om du kunne bruke all verdens datakraft til \u00e5 trene opp en felles AI-modell med \u00e5pen kildekode?<\/p>\n

Forel\u00f8pig rapport: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research er stolte over \u00e5 kunne offentliggj\u00f8re en forel\u00f8pig rapport om DisTrO (Distributed Training Over-the-Internet), en familie av... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26. august 2024<\/a><\/p><\/blockquote>\n