Effiziente KI-Trainingstechniken und -Architekturen versprechen zwar eine Senkung des Energieverbrauchs, doch der KI-Boom hat gerade erst begonnen, und Big Tech investiert verst\u00e4rkt in ressourcenintensive Rechenzentren und Cloud-Technologie.<\/span><\/p>\n Angesichts der sich versch\u00e4rfenden Klimakrise ist es wichtiger denn je, ein Gleichgewicht zwischen technologischem Fortschritt und Energieeffizienz zu finden.<\/span><\/p>\n Der Energieverbrauch von KI ist mit dem Aufkommen komplexer, rechenintensiver Architekturen wie neuronaler Netze gestiegen. <\/span><\/p>\n So soll GPT-4 beispielsweise auf 8 Modellen mit jeweils 220 Milliarden Parametern basieren, was insgesamt etwa 1,76 Billionen Parameter ergibt. Inflection baut derzeit ein Cluster von 22.000 High-End-Chips von Nvidia<\/a>die rund $550.000.000 kosten k\u00f6nnten, bei einem ungef\u00e4hren Einzelhandelspreis von $25.000 pro Karte. Und das gilt nur f\u00fcr die Chips.\u00a0<\/span><\/p>\n Jedes fortschrittliche KI-Modell erfordert immense Ressourcen f\u00fcr sein Training, aber bis vor kurzem war es schwierig, die wahren Kosten der KI-Entwicklung genau zu erfassen.\u00a0<\/span><\/p>\n A <\/span>Studie 2019<\/span><\/a> von der University of Massachusetts in Amherst untersuchte den Ressourcenverbrauch von Deep Neural Networks (DNNs).\u00a0<\/span><\/p>\n In der Regel m\u00fcssen Datenwissenschaftler diese DNNs manuell entwerfen oder eine neuronale Architektursuche (NAS) verwenden, um ein spezialisiertes neuronales Netzwerk f\u00fcr jeden einzelnen Fall von Grund auf zu finden und zu trainieren.\u00a0<\/span><\/p>\n Dieser Ansatz ist nicht nur ressourcenintensiv, sondern hat auch einen erheblichen Kohlendioxid-Fu\u00dfabdruck. In der Studie wurde festgestellt, dass das Training eines einzigen gro\u00dfen neuronalen Netzes auf Transformer-Basis, das mit NAS - einem in der maschinellen \u00dcbersetzung h\u00e4ufig verwendeten Tool - erstellt wurde, rund 626.000 Pfund Kohlendioxid verursachte. <\/span><\/p>\n Dies entspricht in etwa den Lebenszeitgasemissionen von 5 Autos.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, Informatiker an der Universit\u00e4t von A Coru\u00f1a in Spanien, kommentierte die Studie: \"W\u00e4hrend viele von uns wahrscheinlich nur abstrakt und vage daran gedacht haben, zeigen die Zahlen wirklich das Ausma\u00df des Problems\", und f\u00fcgte hinzu: \"Weder ich noch andere Forscher, mit denen ich dar\u00fcber gesprochen habe, hielten die Auswirkungen auf die Umwelt f\u00fcr so erheblich.<\/span><\/p>\n Die Energiekosten f\u00fcr die Ausbildung des Modells sind nur die Basiswerte - das Minimum an Arbeit, das erforderlich ist, um ein Modell einsatzf\u00e4hig zu machen.\u00a0<\/span><\/p>\n Emma Strubell, Doktorandin an der University of Massachusetts, sagt: \"Ein einziges Modell zu trainieren ist das Minimum an Arbeit, das man leisten kann.\"<\/span><\/p>\n Forscher des MIT schlugen sp\u00e4ter eine L\u00f6sung f\u00fcr dieses Problem vor: die <\/span>Einmal-f\u00fcr-alles\"-Ansatz (OFA)<\/span><\/a>.<\/span><\/p>\n Die Forscher <\/span>das Problem beschreiben<\/span><\/a> mit konventionellem Training neuronaler Netze: \"Die Entwicklung spezialisierter DNNs f\u00fcr jedes Szenario ist ingenieurs- und rechenaufw\u00e4ndig, entweder mit menschenbasierten Methoden oder mit NAS. Da solche Methoden den Netzentwurfsprozess wiederholen und das entworfene Netz f\u00fcr jeden Fall von Grund auf neu trainieren m\u00fcssen, wachsen ihre Gesamtkosten linear mit der Anzahl der Einsatzszenarien, was zu einem \u00fcberm\u00e4\u00dfigen Energieverbrauch und CO2-Aussto\u00df f\u00fchrt.\"<\/span><\/p>\n Mit dem OFA-Paradigma des MIT trainieren die Forscher ein einziges allgemeines neuronales Netz, aus dem verschiedene spezialisierte Teilnetze erstellt werden k\u00f6nnen. <\/span>Der OFA-Prozess erfordert kein zus\u00e4tzliches Training f\u00fcr neue Teilnetze, wodurch die energieintensiven GPU-Stunden f\u00fcr das Modelltraining reduziert und die CO2-Emissionen gesenkt werden.<\/span><\/p>\n Neben den Vorteilen f\u00fcr die Umwelt bietet der OFA-Ansatz auch erhebliche Leistungsverbesserungen. In internen Tests waren Modelle, die mit dem OFA-Ansatz erstellt wurden, auf Edge-Ger\u00e4ten (kompakte IoT-Ger\u00e4te) bis zu 2,6 Mal schneller als Modelle, die mit NAS erstellt wurden.<\/span><\/p>\n Der OFA-Ansatz des MIT wurde bei der 4. Low Power Computer Vision Challenge 2019 gew\u00fcrdigt - einer j\u00e4hrlich stattfindenden Veranstaltung des IEEE, die die Forschung zur Verbesserung der Energieeffizienz von Computer-Vision-Systemen (CV) f\u00f6rdert. <\/span><\/p>\n Das MIT-Team erhielt die h\u00f6chste Auszeichnung und wurde von den Veranstaltern gelobt: \"Die L\u00f6sungen dieser Teams \u00fcbertreffen die besten L\u00f6sungen in der Literatur.\"<\/span><\/p>\n Die <\/span>2023 Low Power Computer Vision Herausforderung<\/span><\/a> nimmt derzeit noch bis zum 4. August Bewerbungen entgegen.\u00a0<\/span><\/p>\n Zus\u00e4tzlich zu den Trainingsmodellen ben\u00f6tigen die Entwickler immense Cloud-Ressourcen, um ihre Modelle zu hosten und einzusetzen. <\/span><\/p>\n Gro\u00dfe Technologieunternehmen wie Microsoft und Google werden ihre Investitionen in Cloud-Ressourcen bis 2023 erh\u00f6hen, um die steigende Nachfrage nach KI-Produkten zu bew\u00e4ltigen.<\/span><\/p>\n Cloud Computing und die damit verbundenen Rechenzentren haben einen immensen Ressourcenbedarf. Stand: 2016, <\/span>vorgeschlagene Sch\u00e4tzungen<\/span><\/a> dass Rechenzentren weltweit f\u00fcr etwa 1% bis 3% des globalen Stromverbrauchs verantwortlich sind, was dem Energieverbrauch einiger kleiner Nationen entspricht.\u00a0<\/span><\/p>\n Auch der Wasserverbrauch von Rechenzentren ist gewaltig. Gro\u00dfe Rechenzentren k\u00f6nnen t\u00e4glich Millionen von Litern Wasser verbrauchen.\u00a0<\/span><\/p>\n Im Jahr 2020 wurde berichtet, dass die Rechenzentren von Google in South Carolina die Erlaubnis erhielten, die <\/span>549 Millionen Gallonen Wasser<\/span><\/a>fast das Doppelte der zwei Jahre zuvor verbrauchten Menge. Ein 15-Megawatt-Rechenzentrum kann t\u00e4glich bis zu 360.000 Gallonen Wasser verbrauchen.<\/span><\/p>\nEnergietechnische Herausforderungen f\u00fcr KI<\/span><\/h2>\n
![\"AI-Energieverbrauch](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
Der \"Einmal-f\u00fcr-alles\"-Ansatz des MIT<\/span><\/h2>\n
Die Rolle des Cloud Computing f\u00fcr die Umweltauswirkungen der KI<\/span><\/h2>\n