{"id":1702,"date":"2023-06-14T10:34:37","date_gmt":"2023-06-14T10:34:37","guid":{"rendered":"https:\/\/dailyai.com\/?p=1702"},"modified":"2023-06-28T22:11:46","modified_gmt":"2023-06-28T22:11:46","slug":"ai-companies-want-regulation-but-is-it-for-the-right-reasons","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2023\/06\/ai-companies-want-regulation-but-is-it-for-the-right-reasons\/","title":{"rendered":"AI-bedrijven willen regulering, maar is dat om de juiste redenen?"},"content":{"rendered":"

AI-bedrijven dringen aan op regelgeving. Is hun motivatie paranoia of altru\u00efsme? Of stelt regulering concurrerende doelen veilig?<\/b><\/p>\n

Begin mei schreef Luke Sernau, een senior software engineer bij Google, een informele memo over open-source AI. Het werd op grote schaal verspreid op de interne systemen van Google voordat een adviesbureau, Semi-Analysis, het deed, <\/span>geverifieerd en gepubliceerd<\/span><\/a>.\u00a0<\/span><\/p>\n

Hier zijn enkele fragmenten:<\/span><\/p>\n

\"We hebben bij OpenAI veel over onze schouders gekeken. Wie bereikt de volgende mijlpaal? Wat wordt de volgende stap?<\/span><\/p>\n

Maar de ongemakkelijke waarheid is dat wij niet in de positie zijn om deze wapenwedloop te winnen en OpenAI ook niet. Terwijl wij aan het kibbelen waren, heeft een derde factie stilletjes onze lunch opgegeten. Ik heb het natuurlijk over open source.<\/span><\/p>\n

Om het duidelijk te stellen: ze halen ons in. Dingen die wij als \"grote open problemen\" beschouwen, zijn vandaag opgelost en in mensenhanden. Hoewel onze modellen nog steeds een kleine voorsprong hebben in termen van kwaliteit, wordt de kloof verbazingwekkend snel kleiner.<\/span><\/p>\n

Open-source modellen zijn sneller, meer aanpasbaar, meer priv\u00e9 en pound-for-pound meer capabel. Ze doen dingen met $100 en 13B params waar wij moeite mee hebben met $10M en 540B. En dat doen ze in weken, niet maanden.<\/span><\/p>\n

Begin maart kreeg de open source gemeenschap hun eerste echt capabele foundation model in handen, toen Meta's LLaMA uitlekte naar het publiek.<\/span><\/p>\n

Het had geen instructie of gespreksafstemming, en geen RLHF. Desondanks begreep de gemeenschap onmiddellijk het belang van wat ze hadden gekregen. Er volgde een enorme golf van innovatie, met slechts enkele dagen tussen belangrijke ontwikkelingen...<\/span><\/p>\n

Hier zijn we dan, nauwelijks een maand later, en er zijn varianten met instructietuning, kwantisering, kwaliteitsverbeteringen, menselijke evaluaties, multimodaliteit, RLHF, enzovoort, enzovoort, waarvan er veel op elkaar voortbouwen. Het belangrijkste is dat ze het schaalprobleem hebben opgelost, zodat iedereen eraan kan sleutelen.<\/span><\/p>\n

Veel van de nieuwe idee\u00ebn komen van gewone mensen. De toetredingsdrempel voor training en experimenteren is gedaald van de totale output van een grote onderzoeksorganisatie naar \u00e9\u00e9n persoon, een avond en een stevige laptop.\"<\/span><\/p>\n

De memo van Sernau werd opgepikt door grote nieuwsmedia en leidde tot een debat over de vraag of achter het streven van grote bedrijven naar regulering een motief schuilgaat om open-source AI uit de markt te drukken. <\/span>Ben Schrekcinger van Politico schrijft<\/span><\/a>Open source code is ook moeilijker te verbieden omdat er nieuwe instanties kunnen opduiken als toezichthouders een website of tool die er gebruik van maakt proberen uit te schakelen. In combinatie met andere decentraliserende eigenschappen hebben deze open-source projecten het potentieel om niet alleen het businessmodel van Silicon Valley te verstoren, maar ook de bestuursmodellen van Washington en Brussel.\"<\/span><\/p>\n

De open-source AI-gemeenschap bloeit al. Ontwikkelaars lossen binnen enkele dagen uitdagingen op waar Google en OpenAI maanden of jaren over doen. Sernau stelt dat agile gemeenschappen van open-source ontwikkelaars beter uitgerust zijn om iteratiemodellen te bouwen dan big tech, omdat ze diverser, effici\u00ebnter en pragmatischer zijn.<\/p>\n

Als dit het geval is, zou de dominantie van big tech over AI wel eens van voorbijgaande aard kunnen zijn.<\/p>\n

Het Meta LLaMA-lek<\/span><\/h2>\n

Het LLaMA-model van Meta, een groot taalmodel (LLM) zoals ChatGPT, was uitgelekt op 4chan<\/a> een week nadat het bedrijf toegangsverzoeken had verstuurd. <\/span>Op 3 maart verscheen er een downloadbare torrent op het berichtenforum die zich als een lopend vuurtje verspreidde.<\/span><\/p>\n

\"\"
LLaMA van Meta is een fundamenteel groot taalmodel (LLM) met 65 miljard parameters.<\/figcaption><\/figure>\n

Zoals Sernau aangeeft, ging de open-source gemeenschap verder met het aanpassen van LLaMA, waarbij indrukwekkende functionaliteit werd toegevoegd zonder de computermiddelen van de onderneming.\u00a0<\/span><\/p>\n

Het bouwen van krachtige AI-modellen is goedkoper dan ooit en open-source gemeenschappen proberen de toegang te democratiseren. Terwijl LLaMA een grotendeels voorgetraind model is, zijn andere open-source modellen, zoals BLOOM, getraind door vrijwilligers. <\/span><\/p>\n

Voor het trainen van BLOOM was een supercomputer met 384 NVIDIA A100 80GB GPU's nodig, die gelukkig werd gedoneerd door de Franse overheid. Het open-source AI-bedrijf Together kondigde onlangs $20m seed funding aan, en AI-gerichte cloudproviders zoals CoreWeave<\/a> bieden hardware onder de marktprijs. <\/span><\/p>\n

Open-source projecten hebben verschillende middelen om middelen te concentreren en de grote technologie te overvleugelen.\u00a0<\/span>Big tech wil ons waarschijnlijk doen geloven dat hun AI's het product zijn van tientallen jaren werk en miljarden dollars aan investeringen -<\/span> De open-sourcegemeenschap is het hier waarschijnlijk niet mee eens.<\/p>\n

Tijdens een evenement in India vroeg voormalig Google-bestuurder Rajan Anandan aan OpenAI CEO Sam Altman of Indiase technici fundamentele AI-modellen konden bouwen met een investering van $10m.<\/span><\/p>\n

Altman antwoordde: \"Het is totaal hopeloos om met ons te concurreren op het gebied van training van foundationmodellen. Je moet het niet proberen en het is je taak om het toch te proberen. En ik geloof in allebei die dingen. Ik denk dat het vrij hopeloos is.\"<\/span><\/p>\n

Maar in zijn memo geeft Sernau aan dat open source nu al concurreert met big tech. Hij zegt: \"Een concurrentievoordeel behouden in technologie wordt nog moeilijker nu geavanceerd onderzoek in LLM's betaalbaar is. Onderzoeksinstellingen over de hele wereld bouwen voort op elkaars werk en verkennen de oplossingsruimte op een manier die onze eigen capaciteit ver te boven gaat.\"<\/span><\/p>\n

Open-source ontwikkelaars bouwen alternatieven voor de AI's van big tech en halen ze in op het gebied van prestaties en gebruikersstatistieken. <\/span><\/p>\n

Zo werd het open-source Stable Diffusion binnen enkele maanden na de lancering populairder dan OpenAI's DALL-E.\u00a0<\/span><\/p>\n

\"Stabiele
Het open-source Stable Diffusion haalde het eigen DALL-E van OpenAI snel in. Bron: Google Trends.<\/figcaption><\/figure>\n

In hoeverre kunnen we hier potenti\u00eble bijbedoelingen uitpluizen? Heeft de push van big tech op het gebied van regelgeving enige altru\u00efstische verdienste?<\/span><\/p>\n

De open-source AI-gemeenschap<\/span><\/h2>\n

Naast LLaMA zijn er minstens drie grote voorbeelden van open-source AI-projecten:<\/span>
\n<\/span><\/p>\n