{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"Il futuro della formazione AI: L'approccio innovativo di DisTrO"},"content":{"rendered":"

Il gruppo di ricerca sull'intelligenza artificiale applicata Nous Research ha sviluppato un ottimizzatore per l'addestramento dei modelli di intelligenza artificiale che potrebbe cambiare radicalmente il modo in cui verranno addestrati i modelli di intelligenza artificiale del futuro.<\/strong><\/p>\n

Tradizionalmente, l'addestramento di un modello di intelligenza artificiale richiede data center massicci dotati di GPU come le H100 di NVIDIA e interconnessioni ad alta velocit\u00e0 per sincronizzare gli aggiornamenti dei gradienti e dei parametri tra le GPU.<\/p>\n

Ogni fase di addestramento richiede la condivisione di grandi quantit\u00e0 di dati tra migliaia di GPU. La larghezza di banda richiesta significa che queste GPU devono essere cablate e fisicamente vicine l'una all'altra. Con DisTrO, Nous Research potrebbe aver trovato un modo per cambiare completamente questa situazione.<\/p>\n

Durante l'addestramento del modello, un algoritmo di ottimizzazione regola i parametri del modello per minimizzare la funzione di perdita. La funzione di perdita misura la differenza tra le previsioni del modello e i risultati effettivi e l'obiettivo \u00e8 ridurre il pi\u00f9 possibile questa perdita attraverso l'addestramento iterativo.<\/p>\n

DisTrO-AdamW<\/a> \u00e8 una variante del popolare algoritmo di ottimizzazione AdamW. DisTrO \u00e8 l'acronimo di \"Distributed Training Over-the-Internet\" (formazione distribuita via Internet) e indica ci\u00f2 che lo rende cos\u00ec speciale.<\/p>\n

DisTrO-AdamW riduce drasticamente la quantit\u00e0 di comunicazione inter-GPU necessaria durante l'addestramento di reti neurali di grandi dimensioni. E lo fa senza sacrificare il tasso di convergenza o l'accuratezza del processo di addestramento.<\/p>\n

Nei test empirici, DisTrO-AdamW ha ottenuto una riduzione di 857 volte della comunicazione inter-GPU. Ci\u00f2 significa che l'approccio DisTrO pu\u00f2 addestrare i modelli con una precisione e una velocit\u00e0 comparabili, ma senza la necessit\u00e0 di un hardware costoso e ad alta larghezza di banda.<\/p>\n

Ad esempio, durante il pre-addestramento di un LLM da 1,2 miliardi, DisTrO-AdamW ha eguagliato le prestazioni dei metodi tradizionali, riducendo al contempo la larghezza di banda richiesta da 74,4 GB a soli 86,8 MB per fase di addestramento.<\/p>\n

\n

E se si potesse utilizzare tutta la potenza di calcolo del mondo per addestrare un modello di IA condiviso e open source?<\/p>\n

Rapporto preliminare: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research \u00e8 orgogliosa di pubblicare un rapporto preliminare su DisTrO (Distributed Training Over-the-Internet), una famiglia di... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Ricerca Nous (@NousResearch) 26 agosto 2024<\/a><\/p><\/blockquote>\n