{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"Framtiden f\u00f6r AI-utbildning: DisTrO:s revolutionerande metod"},"content":{"rendered":"

Forskningsgruppen Nous Research har utvecklat en optimerare f\u00f6r tr\u00e4ning av AI-modeller som dramatiskt kan f\u00f6r\u00e4ndra hur framtidens AI-modeller kommer att tr\u00e4nas.<\/strong><\/p>\n

Traditionellt kr\u00e4ver tr\u00e4ning av en AI-modell massiva datacenter fullpackade med GPU:er som NVIDIAs H100 och h\u00f6ghastighetsinterconnects f\u00f6r att synkronisera gradient- och parameteruppdateringar mellan GPU:er.<\/p>\n

Varje tr\u00e4ningssteg kr\u00e4ver att stora m\u00e4ngder data delas mellan tusentals GPU:er. Den bandbredd som kr\u00e4vs inneb\u00e4r att dessa GPU:er m\u00e5ste vara h\u00e5rdkopplade och fysiskt n\u00e4ra varandra. Med DisTrO kan Nous Research ha hittat ett s\u00e4tt att \u00e4ndra detta helt och h\u00e5llet.<\/p>\n

N\u00e4r en modell tr\u00e4nas justerar en optimeringsalgoritm modellens parametrar f\u00f6r att minimera f\u00f6rlustfunktionen. F\u00f6rlustfunktionen m\u00e4ter skillnaden mellan modellens f\u00f6ruts\u00e4gelser och de faktiska utfallen, och m\u00e5let \u00e4r att minska denna f\u00f6rlust s\u00e5 mycket som m\u00f6jligt genom iterativ tr\u00e4ning.<\/p>\n

DisTrO-AdamW<\/a> \u00e4r en variant av den popul\u00e4ra AdamW-optimeringsalgoritmen. DisTrO st\u00e5r f\u00f6r \"Distributed Training Over-the-Internet\" och ger en antydan om vad som g\u00f6r den s\u00e5 speciell.<\/p>\n

DisTrO-AdamW minskar drastiskt den m\u00e4ngd kommunikation mellan GPU:er som kr\u00e4vs vid tr\u00e4ning av stora neurala n\u00e4tverk. Och detta utan att offra konvergenshastigheten eller noggrannheten i tr\u00e4ningsprocessen.<\/p>\n

I empiriska tester uppn\u00e5dde DisTrO-AdamW en 857-faldig minskning av inter-GPU-kommunikationen. Detta inneb\u00e4r att DisTrO-metoden kan tr\u00e4na modeller med j\u00e4mf\u00f6rbar noggrannhet och hastighet men utan behov av dyr h\u00e5rdvara med h\u00f6g bandbredd.<\/p>\n

Till exempel, under f\u00f6rtr\u00e4ningen av en 1,2 miljarder LLM matchade DisTrO-AdamW prestandan hos traditionella metoder samtidigt som den n\u00f6dv\u00e4ndiga bandbredden minskade fr\u00e5n 74,4 GB till bara 86,8 MB per tr\u00e4ningssteg.<\/p>\n

\n

T\u00e4nk om du kunde anv\u00e4nda all v\u00e4rldens datorkraft f\u00f6r att tr\u00e4na en gemensam AI-modell med \u00f6ppen k\u00e4llkod?<\/p>\n

Prelimin\u00e4r rapport: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research \u00e4r stolta \u00f6ver att kunna presentera en prelimin\u00e4r rapport om DisTrO (Distributed Training Over-the-Internet), en familj av... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26 augusti 2024<\/a><\/p><\/blockquote>\n