{"id":13996,"date":"2024-08-27T09:59:40","date_gmt":"2024-08-27T09:59:40","guid":{"rendered":"https:\/\/dailyai.com\/?p=13996"},"modified":"2024-08-27T09:59:40","modified_gmt":"2024-08-27T09:59:40","slug":"the-future-of-ai-training-distros-game-changing-approach","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/08\/the-future-of-ai-training-distros-game-changing-approach\/","title":{"rendered":"El futuro de la formaci\u00f3n en IA: La innovadora estrategia de DisTrO"},"content":{"rendered":"

El grupo de investigaci\u00f3n en IA aplicada Nous Research ha desarrollado un optimizador de entrenamiento de modelos de IA que podr\u00eda cambiar radicalmente la forma en que se entrenar\u00e1n los modelos de IA del futuro.<\/strong><\/p>\n

Tradicionalmente, el entrenamiento de un modelo de IA requiere centros de datos masivos repletos de GPU como las H100 de NVIDIA e interconexiones de alta velocidad para sincronizar las actualizaciones de gradientes y par\u00e1metros entre las GPU.<\/p>\n

Cada paso de entrenamiento requiere compartir grandes cantidades de datos entre miles de GPU. El ancho de banda necesario significa que estas GPU deben estar conectadas y f\u00edsicamente cerca unas de otras. Con DisTrO, Nous Research puede haber encontrado la forma de cambiar esta situaci\u00f3n por completo.<\/p>\n

A medida que se entrena un modelo, un algoritmo optimizador ajusta los par\u00e1metros del modelo para minimizar la funci\u00f3n de p\u00e9rdida. La funci\u00f3n de p\u00e9rdida mide la diferencia entre las predicciones del modelo y los resultados reales, y el objetivo es reducir esta p\u00e9rdida lo m\u00e1ximo posible mediante un entrenamiento iterativo.<\/p>\n

DisTrO-AdamW<\/a> es una variaci\u00f3n del popular algoritmo optimizador AdamW. DisTrO son las siglas de \"Distributed Training Over-the-Internet\" (formaci\u00f3n distribuida a trav\u00e9s de Internet).<\/p>\n

DisTrO-AdamW reduce dr\u00e1sticamente la cantidad de comunicaci\u00f3n entre GPU necesaria durante el entrenamiento de grandes redes neuronales. Y lo hace sin sacrificar la velocidad de convergencia ni la precisi\u00f3n del proceso de entrenamiento.<\/p>\n

En pruebas emp\u00edricas, DisTrO-AdamW logr\u00f3 una reducci\u00f3n de 857 veces en la comunicaci\u00f3n entre GPU. Esto significa que el enfoque DisTrO puede entrenar modelos con una precisi\u00f3n y velocidad comparables, pero sin necesidad de hardware caro y de gran ancho de banda.<\/p>\n

Por ejemplo, durante el preentrenamiento de un LLM de 1.200 millones, DisTrO-AdamW igual\u00f3 el rendimiento de los m\u00e9todos tradicionales al tiempo que reduc\u00eda el ancho de banda necesario de 74,4 GB a s\u00f3lo 86,8 MB por paso de entrenamiento.<\/p>\n

\n

\u00bfY si se pudiera utilizar toda la potencia de c\u00e1lculo del mundo para entrenar un modelo de IA compartido y de c\u00f3digo abierto?<\/p>\n

Informe preliminar: https:\/\/t.co\/b1XgJylsnV<\/a><\/p>\n

Nous Research se enorgullece de publicar un informe preliminar sobre DisTrO (Distributed Training Over-the-Internet) una familia de... pic.twitter.com\/h2gQJ4m7lB<\/a><\/p>\n

- Nous Research (@NousResearch) 26 de agosto de 2024<\/a><\/p><\/blockquote>\n