Hier sind einige Ausz\u00fcge:<\/span><\/p>\n \"Wir haben uns bei OpenAI oft \u00fcber die Schulter geschaut. Wer wird den n\u00e4chsten Meilenstein \u00fcberschreiten? Was wird der n\u00e4chste Schritt sein?<\/span><\/p>\n Aber die unbequeme Wahrheit ist, dass wir nicht in der Lage sind, dieses Wettr\u00fcsten zu gewinnen, und OpenAI auch nicht. W\u00e4hrend wir uns gestritten haben, hat eine dritte Fraktion im Stillen unser Mittagessen gegessen. Ich spreche nat\u00fcrlich von Open Source.<\/span><\/p>\n Im Klartext: Sie \u00fcberholen uns. Dinge, die wir als \"gro\u00dfe offene Probleme\" betrachten, sind heute gel\u00f6st und in den H\u00e4nden der Menschen. Unsere Modelle haben zwar immer noch einen leichten Qualit\u00e4tsvorsprung, aber die L\u00fccke wird erstaunlich schnell geschlossen.<\/span><\/p>\n Open-Source-Modelle sind schneller, besser anpassbar, privater und leistungsf\u00e4higer. Sie k\u00f6nnen mit $100 und 13B-Parametern Dinge tun, mit denen wir uns bei $10M und 540B schwer tun. Und sie schaffen das in Wochen, nicht in Monaten.<\/span><\/p>\n Anfang M\u00e4rz bekam die Open-Source-Gemeinschaft ihr erstes wirklich leistungsf\u00e4higes Basismodell in die H\u00e4nde, als Metas LLaMA der \u00d6ffentlichkeit zugespielt wurde.<\/span><\/p>\n Es gab keine Anleitung, keine Gespr\u00e4chsabstimmung und kein RLHF. Nichtsdestotrotz verstand die Gemeinschaft sofort die Bedeutung dessen, was ihr gegeben worden war. Es folgte ein enormer Innovationsschub, wobei zwischen den wichtigsten Entwicklungen nur wenige Tage lagen...<\/span><\/p>\n Jetzt, kaum einen Monat sp\u00e4ter, gibt es Varianten mit Befehlsabstimmung, Quantisierung, Qualit\u00e4tsverbesserungen, menschlichen Bewertungen, Multimodalit\u00e4t, RLHF usw. usw., von denen viele auf einander aufbauen. Am wichtigsten ist, dass sie das Skalierungsproblem so weit gel\u00f6st haben, dass jeder es nachbasteln kann.<\/span><\/p>\n Viele der neuen Ideen stammen von einfachen Menschen. Die Einstiegsh\u00fcrde f\u00fcr Ausbildung und Experimente ist von der Gesamtleistung einer gro\u00dfen Forschungseinrichtung auf eine Person, einen Abend und einen leistungsstarken Laptop gesunken.\"<\/span><\/p>\n Sernaus Memo wurde von gro\u00dfen Medien aufgegriffen und l\u00f6ste eine Debatte dar\u00fcber aus, ob sich hinter dem Drang der gro\u00dfen Technologiekonzerne nach Regulierung das Motiv verbirgt, Open-Source-KI aus dem Spiel zu dr\u00e4ngen. <\/span>Ben Schrekcinger von Politico schreibt<\/span><\/a>Open-Source-Code ist auch schwieriger zu verbieten, da neue Instanzen auftauchen k\u00f6nnen, wenn Regulierungsbeh\u00f6rden versuchen, eine Website oder ein Tool, das ihn verwendet, abzuschalten. In Kombination mit anderen dezentralisierenden Merkmalen haben diese Open-Source-Projekte das Potenzial, nicht nur das Gesch\u00e4ftsmodell des Silicon Valley zu st\u00f6ren, sondern auch die Governance-Modelle von Washington und Br\u00fcssel.\"<\/span><\/p>\n Die Open-Source-KI-Gemeinschaft floriert bereits. Die Entwickler l\u00f6sen Herausforderungen in wenigen Tagen, f\u00fcr die Google und OpenAI Monate oder Jahre brauchen. Sernau argumentiert, dass agile Gemeinschaften von Open-Source-Entwicklern besser in der Lage sind, iterative Modelle zu entwickeln als Big Tech, da sie vielf\u00e4ltiger, effizienter und pragmatischer sind.<\/p>\n Wenn dies der Fall ist, k\u00f6nnte die Vorherrschaft von Big Tech \u00fcber KI nur von kurzer Dauer sein.<\/p>\n Das LLaMA-Modell von Meta, ein gro\u00dfes Sprachmodell (LLM) wie ChatGPT, wurde auf 4chan durchgesickert<\/a> eine Woche nachdem das Unternehmen Zugangsantr\u00e4ge verschickt hatte. <\/span>Am 3. M\u00e4rz erschien ein herunterladbarer Torrent im Messaging-Forum und verbreitete sich wie ein Lauffeuer.<\/span><\/p>\n Wie Sernau angibt, hat die Open-Source-Gemeinschaft LLaMA modifiziert und beeindruckende Funktionen hinzugef\u00fcgt, ohne dass die Computerressourcen des Unternehmens daf\u00fcr ben\u00f6tigt wurden.\u00a0<\/span><\/p>\n Die Erstellung leistungsf\u00e4higer KI-Modelle ist billiger denn je, und Open-Source-Gemeinschaften dr\u00e4ngen darauf, den Zugang zu demokratisieren. W\u00e4hrend LLaMA ein weitgehend vortrainiertes Modell ist, wurden andere Open-Source-Modelle, wie BLOOM, von Freiwilligen trainiert. <\/span><\/p>\n F\u00fcr das Training von BLOOM wurde ein Supercomputer mit 384 NVIDIA A100 80GB GPUs ben\u00f6tigt, der gl\u00fccklicherweise von der franz\u00f6sischen Regierung gespendet wurde. Das Open-Source-KI-Unternehmen Together gab k\u00fcrzlich eine Startfinanzierung in H\u00f6he von $20 Mio. bekannt, und KI-fokussierte Cloud-Anbieter wie CoreWeave<\/a> Hardware unter dem Marktpreis anbieten. <\/span><\/p>\n Open-Source-Projekte haben verschiedene M\u00f6glichkeiten, Ressourcen zu b\u00fcndeln und Big Tech zu \u00fcberfl\u00fcgeln.\u00a0<\/span>Big Tech m\u00f6chte wahrscheinlich, dass wir glauben, dass ihre KI das Ergebnis jahrzehntelanger Arbeit und milliardenschwerer Investitionen ist -<\/span> die Open-Source-Gemeinschaft ist wahrscheinlich anderer Meinung.<\/p>\n Bei einer Veranstaltung in Indien fragte der ehemalige Google-Manager Rajan Anandan den CEO von OpenAI, Sam Altman, ob indische Ingenieure mit einer Investition von $10 Mio. grundlegende KI-Modelle entwickeln k\u00f6nnten.<\/span><\/p>\n Altman antwortete: \"Es ist v\u00f6llig aussichtslos, mit uns bei der Ausbildung von Gr\u00fcndungsmodellen zu konkurrieren. Sie sollten es nicht versuchen, und es ist Ihre Aufgabe, es trotzdem gerne zu versuchen. Und ich glaube beide Dinge. Ich denke, es ist ziemlich hoffnungslos.\"<\/span><\/p>\n In seinem Memo bringt Sernau jedoch zum Ausdruck, dass Open-Source bereits mit Big Tech konkurriert. Er sagt: \"Es wird immer schwieriger, einen Wettbewerbsvorteil in der Technologie zu halten, da Spitzenforschung in LLMs erschwinglich ist. Forschungseinrichtungen auf der ganzen Welt bauen auf der Arbeit anderer auf und erforschen den L\u00f6sungsraum in einer Breite, die unsere eigenen Kapazit\u00e4ten bei weitem \u00fcbersteigt\".<\/span><\/p>\n Open-Source-Entwickler entwickeln Alternativen zu den KI-Systemen der gro\u00dfen Unternehmen und \u00fcberholen diese in Bezug auf Leistung und Nutzerstatistiken. <\/span><\/p>\n So wurde beispielsweise das Open-Source-Programm Stable Diffusion innerhalb weniger Monate nach seiner Einf\u00fchrung beliebter als DALL-E von OpenAI.\u00a0<\/span><\/p>\n Inwieweit k\u00f6nnen wir hier m\u00f6gliche Hintergedanken auseinanderhalten? Hat der regulatorische Vorsto\u00df von Big Tech einen altruistischen Hintergrund?<\/span><\/p>\n Neben LLaMA gibt es mindestens drei weitere wichtige Beispiele f\u00fcr Open-Source-KI-Projekte:<\/span> Es ist erw\u00e4hnenswert, dass einige dieser Entwickler (z. B. Stable Diffusion) ihre Modelle \u00fcber intuitive, benutzerfreundliche Dashboards anbieten, w\u00e4hrend andere, wie BLOOM, erhebliche Ressourcen ben\u00f6tigen, um ausgef\u00fchrt zu werden. F\u00fcr den Betrieb von BLOOM ben\u00f6tigen Sie etwa 360 GB RAM, aber es gibt viele raffinierte Tricks, um die Ressourcenanforderungen zu senken.\u00a0<\/span><\/p>\n Da KI-f\u00e4hige Hardware im Preis sinkt und Open-Source-Modelle einfacher zu implementieren sind, ist es durchaus m\u00f6glich, dass praktisch jeder \u00e4hnliche Modelle wie ChatGPT einsetzen kann. In dem Google-Memo werden Beispiele von Personen genannt, die LLaMA auf Verbraucherger\u00e4ten, darunter ein MacBook, optimiert und eingesetzt haben.\u00a0<\/span><\/p>\n F\u00fcr Unternehmen mit umfangreichen IT-Ressourcen, <\/span>Open-Source-Modelle sparen Geld und bieten Datenhoheit und Kontrolle \u00fcber Training und Optimierung.\u00a0<\/span><\/p>\n Allerdings ist nicht jeder optimistisch, was die Auswirkungen der leistungsstarken quelloffenen KI angeht. So twitterte beispielsweise der Cybersecurity-Forscher Jeffrey Ladis: \"Machen Sie sich auf jede Menge personalisierte Spam- und Phishing-Versuche gefasst\" und \"Das Open-Sourcing dieser Modelle war eine schreckliche Idee\".<\/span><\/p>\n Die Ausbreitung von KI macht uns alle unsicherer. Es scheint eine gute Sache zu sein, das zu verhindern, und auch eine ziemlich schwierige Herausforderung!<\/p>\n Es w\u00fcrde mich nicht \u00fcberraschen, wenn es einem staatlichen Akteur gel\u00e4nge, in den n\u00e4chsten ein bis zwei Jahren die Grenzmodelle von OpenAI in die H\u00e4nde zu bekommen. https:\/\/t.co\/PUEWvfUFqk<\/a><\/p>\n - Jeffrey Ladish (@JeffLadish) 10. Mai 2023<\/a><\/p><\/blockquote>\n Ein anderer Beobachter twitterte: \"Open Source ist eine Bedrohung, aber nicht so, wie Sie denken. Es ist eine Bedrohung, weil KI in den H\u00e4nden von Menschen, die sie f\u00fcr ihre eigenen Zwecke nutzen k\u00f6nnen, noch schwieriger zu regulieren oder zu \u00fcberwachen ist, und das ist ein gr\u00f6\u00dferes Problem.\u00a0<\/span><\/p>\n Google und OpenAI behaupten, sie h\u00e4tten Angst vor Open-Source-KI, es g\u00e4be \"keinen Graben\" zwischen ihnen allen. Aber das ist nicht wirklich wahr.<\/p>\n Open Source ist eine Bedrohung, aber nicht so, wie Sie denken. Es ist eine Bedrohung, weil KI in den H\u00e4nden von Menschen, die sie f\u00fcr ihre eigenen Zwecke nutzen k\u00f6nnen, noch schwieriger zu... pic.twitter.com\/g6kMh3TshY<\/a><\/p>\n - Theo (@tprstly) 5. Mai 2023<\/a><\/p><\/blockquote>\n Yann LeCun, der neben Geoffrey Hinton und Yoshio Bengman oft als \"Pate der KI\" angesehen wird, <\/span>argumentiert das Gegenteil<\/span><\/a>Sobald die LLMs zum Hauptkanal werden, \u00fcber den jeder Zugang zu Informationen hat, werden die Menschen (und die Regierungen) *verlangen*, dass sie offen und transparent sind. Die grundlegende Infrastruktur muss offen sein.\u00a0<\/span><\/p>\n LeCun widersprach auch dem Mainstream-Narrativ \u00fcber KI-Risiken: \"Ich denke, dass das Ausma\u00df des KI-Anpassungsproblems l\u00e4cherlich \u00fcbertrieben und unsere F\u00e4higkeit, es zu l\u00f6sen, weit untersch\u00e4tzt wurde.\" Elon Musk konterte im Twitter-Thread mit den Worten: \"Glauben Sie wirklich, dass KI ein einschneidendes Schwert ist?\"\u00a0<\/span><\/p>\n Glauben Sie wirklich, dass KI ein einschneidendes Schwert ist?<\/p>\n - Elon Musk (@elonmusk) 1. April 2023<\/a><\/p><\/blockquote>\n Andere Kommentatoren zogen Parallelen zwischen der KI-Regulierung und der Kryptographie, wo die US-Regierung versuchte, \u00f6ffentliche kryptographische Methoden zu verbieten, indem sie <\/span>sie als \"Munition\" zu klassifizieren<\/span><\/a> - <\/b>\"Krypto-Kriege\" genannt.\u00a0<\/span><\/p>\n Heute hat praktisch jeder das Recht, Verschl\u00fcsselung zu verwenden - aber dieser Kampf war hart erk\u00e4mpft, wie es auch bei der Open-Source-KI der Fall sein k\u00f6nnte.<\/span><\/p>\n Open Source ist mehr als nur Software, Code und Technologie. Es ist das Prinzip, die Denkweise oder der Glaube, dass eine kooperative, offene und transparente Arbeitsumgebung den Wettbewerb in einem geschlossenen Markt \u00fcbertrifft.<\/span><\/p>\n OpenAI, einst ein gemeinn\u00fctziges Unternehmen, das sich auf \u00f6ffentliche Zusammenarbeit und Open-Source-Entwicklung konzentrierte, hat sich immer weiter von seinem Namensgeber entfernt.<\/span><\/p>\n Das Startup wurde 2019 in ein gewinnorientiertes Unternehmen umgewandelt, wodurch die Beziehung des Unternehmens zur Open-Source-Community beendet wurde.\u00a0<\/span>Die Investitionen von Microsoft haben OpenAI von jeder Art \"offener\" F&E-Aktivit\u00e4ten abgekoppelt. <\/span><\/p>\n Mitte Mai k\u00fcndigte das Unternehmen eine <\/span>Open-Source-Modell in der Pipeline<\/span><\/a>aber sie haben die Details nicht offengelegt.\u00a0<\/span><\/p>\n Jetzt dr\u00e4ngt OpenAI auf eine Regulierung, die aufstrebende KI-Unternehmen am h\u00e4rtesten treffen w\u00fcrde, ganz zu schweigen von einer m\u00f6glichen Kriminalisierung der Open-Source-Gemeinschaft.\u00a0<\/span><\/p>\n Dies hat einige dazu veranlasst, OpenAIs Dr\u00e4ngen auf Regulierung als reines Gesch\u00e4ft zu kritisieren - das Gesch\u00e4ft, ihre profitablen Modelle vor Open-Source-Gemeinschaften zu sch\u00fctzen, die versuchen, KI zu demokratisieren.\u00a0<\/span><\/p>\n Die Kombination aus Googles durchgesickertem Memo, dem Dr\u00e4ngen der Big Tech auf Regulierung und Altmans Verunglimpfung von KI-Projekten an der Basis wirft einige Fragen auf. In der Tat wurde die Legitimit\u00e4t der KI-Risiken - die eine Regulierung rechtfertigen - in Frage gestellt.\u00a0\u00a0<\/span><\/p>\n Als beispielsweise das Center for AI Safety (CAIS) seine seismische Erkl\u00e4rung zu KI-Risiken ver\u00f6ffentlichte, die von mehreren KI-CEOs mitunterzeichnet wurde, waren einige externe Beobachter nicht \u00fcberzeugt.<\/span><\/p>\n In einer Auswahl von Expertenreaktionen auf die Erkl\u00e4rung <\/span>ver\u00f6ffentlicht vom Science Media Centre<\/span><\/a>sagte Dr. Mhairi Aitken, Forschungsbeauftragte f\u00fcr Ethik am Alan Turing Institute:<\/span><\/p>\nDas Meta LLaMA-Leck<\/span><\/h2>\n
![\"\"](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/shutterstock_2297594185.jpg\")
![\"Stabile](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/stable-1024x576.png\")
Die Open-Source-KI-Gemeinschaft<\/span><\/h2>\n
\n<\/span><\/p>\n\n
\n
\n
\n
OpenAIs Entfremdung von Open-Source-KI<\/span><\/h2>\n
Ist quelloffene KI eine Gefahr f\u00fcr Big Tech?<\/span><\/h2>\n