{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"De toekomst van AI-training: DisTrO's spelveranderende aanpak"},"content":{"rendered":"

Toegepaste AI-onderzoeksgroep Nous Research heeft een AI-model training optimizer ontwikkeld die de manier waarop AI-modellen van de toekomst worden getraind drastisch zou kunnen veranderen.<\/strong><\/p>\n

Traditioneel vereist het trainen van een AI-model enorme datacenters vol GPU's zoals de H100's van NVIDIA en snelle interconnecties om gradi\u00ebnt- en parameterupdates tussen GPU's te synchroniseren.<\/p>\n

Elke trainingsstap vereist enorme hoeveelheden gegevens die moeten worden gedeeld tussen duizenden GPU's. De vereiste bandbreedte betekent dat deze GPU's hardwired en fysiek dicht bij elkaar moeten zijn. De vereiste bandbreedte betekent dat deze GPU's hardwired en fysiek dicht bij elkaar moeten zijn. Met DisTrO heeft Nous Research misschien een manier gevonden om dat volledig te veranderen.<\/p>\n

Terwijl een model wordt getraind, past een optimalisatiealgoritme de parameters van het model aan om de verliesfunctie te minimaliseren. De verliesfunctie meet het verschil tussen de voorspellingen van het model en de werkelijke uitkomsten en het doel is om dit verlies zo veel mogelijk te beperken door iteratieve training.<\/p>\n

DisTrO-AdamW<\/a> is een variatie op het populaire AdamW optimizer algoritme. DisTrO staat voor \"Distributed Training Over-the-Internet\" en geeft aan wat het zo speciaal maakt.<\/p>\n

DisTrO-AdamW vermindert de hoeveelheid inter-GPU communicatie die nodig is tijdens het trainen van grote neurale netwerken drastisch. En het doet dit zonder de convergentiesnelheid of nauwkeurigheid van het trainingsproces op te offeren.<\/p>\n

In empirische tests behaalde DisTrO-AdamW een 857x reductie in inter-GPU communicatie. Dit betekent dat de DisTrO aanpak modellen kan trainen met vergelijkbare nauwkeurigheid en snelheid, maar zonder de noodzaak van dure hardware met hoge bandbreedte.<\/p>\n

Tijdens het voortrainen van een LLM van 1,2 miljard evenaarde DisTrO-AdamW bijvoorbeeld de prestaties van traditionele methoden, terwijl de benodigde bandbreedte werd teruggebracht van 74,4 GB tot slechts 86,8 MB per trainingsstap.<\/p>\n

\n

Wat als je alle rekenkracht ter wereld zou kunnen gebruiken om een gedeeld, open-source AI-model te trainen?<\/p>\n

Voorlopig verslag: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research brengt met trots een voorlopig rapport uit over DisTrO (Distributed Training Over-the-Internet), een familie van... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Onderzoek (@NousResearch) 26 augustus 2024<\/a><\/p><\/blockquote>\n