{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"Die Zukunft des KI-Trainings: Der bahnbrechende Ansatz von DisTrO"},"content":{"rendered":"

Die Forschungsgruppe f\u00fcr angewandte KI Nous Research hat einen Optimierer f\u00fcr das Training von KI-Modellen entwickelt, der die Art und Weise, wie KI-Modelle in Zukunft trainiert werden, grundlegend ver\u00e4ndern k\u00f6nnte.<\/strong><\/p>\n

F\u00fcr das Training eines KI-Modells sind in der Regel riesige Rechenzentren erforderlich, die mit Grafikprozessoren wie den H100 von NVIDIA und Hochgeschwindigkeitsverbindungen zur Synchronisierung von Gradienten- und Parameteraktualisierungen zwischen den GPUs ausgestattet sind.<\/p>\n

Jeder Trainingsschritt erfordert gro\u00dfe Datenmengen, die zwischen Tausenden von GPUs ausgetauscht werden m\u00fcssen. Die erforderliche Bandbreite bedeutet, dass diese GPUs fest verdrahtet und r\u00e4umlich nahe beieinander sein m\u00fcssen. Mit DisTrO hat Nous Research m\u00f6glicherweise einen Weg gefunden, dies vollst\u00e4ndig zu \u00e4ndern.<\/p>\n

W\u00e4hrend ein Modell trainiert wird, passt ein Optimierungsalgorithmus die Parameter des Modells an, um die Verlustfunktion zu minimieren. Die Verlustfunktion misst die Differenz zwischen den Vorhersagen des Modells und den tats\u00e4chlichen Ergebnissen, und das Ziel ist es, diesen Verlust durch iteratives Training so weit wie m\u00f6glich zu reduzieren.<\/p>\n

DisTrO-AdamW<\/a> ist eine Variante des beliebten AdamW-Optimierungsalgorithmus. DisTrO steht f\u00fcr \"Distributed Training Over-the-Internet\" und deutet an, was ihn so besonders macht.<\/p>\n

DisTrO-AdamW reduziert drastisch den Umfang der Inter-GPU-Kommunikation, die beim Training gro\u00dfer neuronaler Netze erforderlich ist. Und das ohne Einbu\u00dfen bei der Konvergenzrate oder der Genauigkeit des Trainingsprozesses.<\/p>\n

In empirischen Tests erreichte DisTrO-AdamW eine 857-fache Reduzierung der Kommunikation zwischen den GPUs. Dies bedeutet, dass der DisTrO-Ansatz Modelle mit vergleichbarer Genauigkeit und Geschwindigkeit trainieren kann, ohne dass teure Hardware mit hoher Bandbreite ben\u00f6tigt wird.<\/p>\n

So erreichte DisTrO-AdamW beim Pre-Training eines 1,2 Milliarden LLM die Leistung herk\u00f6mmlicher Methoden und reduzierte gleichzeitig die erforderliche Bandbreite von 74,4 GB auf nur 86,8 MB pro Trainingsschritt.<\/p>\n

\n

Was w\u00e4re, wenn Sie die gesamte Rechenleistung der Welt nutzen k\u00f6nnten, um ein gemeinsames, quelloffenes KI-Modell zu trainieren?<\/p>\n

Vorl\u00e4ufiger Bericht: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research ist stolz darauf, einen vorl\u00e4ufigen Bericht \u00fcber DisTrO (Distributed Training Over-the-Internet), eine Familie von... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26. August 2024<\/a><\/p><\/blockquote>\n