DAI#34 - Datainsamling, heta chips och modeller i plusstorlek

Välkommen till veckans sammanfattning av trippeldestillerade hantverksmässiga AI-nyheter.

Den här veckan klagade företag som skrapar dina data gratis på att andra stal dem.

Big Tech tillverkar sina egna AI-chip för att konkurrera med NVIDIA.

Och en massa nya AI-modeller flyger ut från hyllorna.

Låt oss gräva i det.

AI data hunger spel

AI:s omättliga hunger efter data fortsätter när företag letar efter text, ljud och video för att träna sina modeller.

Det är en öppen hemlighet att OpenAI nästan säkert skrapade YouTube-videoinnehåll för att träna sin text-till-video-modell Sora. YouTubes VD Neal Mohan varnade OpenAI att det kan ha brutit mot sina användarvillkor. Tja, boohoo. Har du sett hur cool Sora är?

Du måste tänka att Google måste ha skurit några etiska hörn för att utbilda sina modeller. Att ha YouTube gråta foul över "rättigheter och förväntningar" av skaparna av videor på sin plattform är lite rik.

En närmare titt på Big Techs bråk om AI-träningsdata avslöjar hur Google ändrade sin integritetspolicy för Google Docs för att använda dina data. Under tiden fortsätter OpenAI och Meta att driva de juridiska och etiska gränserna i strävan efter mer träningsdata.

Jag är inte säker på var datan kom ifrån för den nya AI-musikgeneratorn Udio, men folk har uppmanat den med några intressanta idéer. Det här är ett bevis på att AI bör regleras.

Det här är helt galet.

Udio släpptes precis och det är som Sora för musik.

Musiken är vansinnig kvalitet, 100% AI. 🤯

1. "Dune the Broadway Musical" pic.twitter.com/hzt7j32jIV

- Min Choi (@minchoi) 10 april 2024

Chips ahoy

Alla dessa kontroversiella data måste bearbetas och NVIDIA-hårdvara står för det mesta av detta. Sam tar oss igenom NVIDIA:s historia från trasor till rikedomar från 1993 (då du borde ha köpt aktier) till nu (då du skulle ha varit rik) och det är fascinerande.

Medan företag fortsätter att köa NVIDIA-chip som kommer direkt ur ugnen, försöker Big Tech att avvänja sig från sina chip.

Intel och Google presenterade nya AI-chip att konkurrera med NVIDIA, även om de fortfarande kommer att köpa NVIDIA:s Blackwell-hårdvara.

Släpp modellerna!

Det är galet att OpenAI för drygt ett år sedan hade de enda modellerna som fick någon verklig uppmärksamhet. Nu finns det en ständig ström av nya modeller från Big Tech vanliga misstänkta och mindre nystartade företag.

Den här veckan såg vi tre AI-modeller lanserade inom 24 timmar. Googles Gemini Pro 1.5 har nu ett 1M token kontextfönster. Stort sammanhang är bra, men kommer dess återkallelse att vara lika bra som Claude 3?

Det skedde en intressant utveckling med OpenAI som möjliggjorde API-åtkomst till GPT-4 med vision, och Mistral gav just bort ytterligare en kraftfull mindre modell.

Politikern som blev Meta exec Nick Clegg talade vid Metas AI-evenemang i London att mästare öppen källkod AI. Clegg sa också att Meta förväntar sig att Llama 3 kommer att rulla ut mycket snart.

Under diskussioner om AI-desinformation bagatelliserade han på ett bisarrt sätt AI:s roll i försöken att påverka de senaste stora valen.

Läser den här killen ens de nyheter vi rapporterar om här på Daily AI?

Vilka säkerhetsfrågor?

Geoffrey Hinton, som anses vara gudfadern till AI, var så bekymrad över AI-säkerhet att han slutade Google. Metas Yann LeCun säger att det inte finns något att oroa sig för. Så vilken är det?

En studie från Georgetown University visade att bara 2% av AI-forskningen är inriktad på säkerhet. Är det för att det inte finns något att oroa sig för? Eller borde vi oroa oss för att forskare fokuserar på att skapa kraftfullare AI utan att tänka på att göra den säker?

Bör "move fast and break stuff" fortfarande vara AI-utvecklarnas ledord?

Utvecklingen av AI har varit exponentiell. I en intervju den här veckan sa Elon Musk att han förväntar sig AI kan vara smartare än människan i slutet av 2025.

AI-experten Gary Marcus håller inte med och han är beredd att satsa pengar på det.

Kära @elonmusk,

$1 miljon säger att din senaste förutsägelse - att AI kommer att vara smartare än någon enskild människa i slutet av 2025 - är fel.

Spel? Jag kan föreslå några regler som du får godkänna.

Bästa önskningar,
Gary

P.S. Observera att i vissa avseenden (men inte alla) har datorer varit...

- Gary Marcus (@GaryMarcus) 9 april 2024

xAI står inför samma NVIDIA-chipbristutmaning som många andra gör. Musk säger att de 20 000 NVIDIA H100 som företaget har kommer att slutföra Grok 2:s utbildning i maj.

Gissa hur många GPU:er han säger att de behöver för att träna Grok 3.

Antropiska streck framåt

Anthropic säger att de utvecklar storskaliga AI-system så att de kan "studera deras säkerhetsegenskaper vid den tekniska gränsen".

Företagets Claude 3 Opus ligger verkligen i framkant. En ny studie visar att modellen blåser bort resten av konkurrenterna i att sammanfatta boklångt innehåll. Trots detta visar resultaten att människan fortfarande har ett övertag i vissa avseenden.

Anthropics senaste tester visar att Claude LLM har blivit exceptionellt övertygandeoch Claude 3 Opus genererar argument som är lika övertygande som de som skapas av människor.

Människor som förringar säkerhetsriskerna med AI säger ofta att man helt enkelt kan dra ur kontakten om en AI blir oseriös. Tänk om AI:n var så övertygande att den kunde övertyga dig om att inte göra det?

Claude 3:s stora anspråk på berömmelse är dess massiva kontextfönster. Anthropic släppte en studie som visar att stora kontext-LLM:er är sårbar för en "many-shot" jailbreak-teknik. Det är superenkelt att genomföra och de erkänner att de inte vet hur de ska fixa det.

Andra nyheter...

Här är några andra klickvärda AI-berättelser som vi gillade den här veckan:

• Den virtuella Toppmöte om AI för kundframgång 2024 sparkar igång.
• Falska AI-advokatbyråer skickar DMCA-hot för att generera SEO-vinster.
• Stability släpper sin flerspråkiga lättviktare Stabil LM 2 12B LLM med imponerande benchmarkresultat.
• Microsoft-forskare föreslår "Visualisering av tanken" -uppmaning för att göra det möjligt för LLM att använda spatiala resonemang.
• AI kan vara lika viktig för ekonomin som elektricitetsäger JPMorgan Chase VD, Jamie Dimon.
• En AI-drivet stridsflygplan kommer att flyga flygvapnets sekreterare i ett test av den amerikanska militärens framtida drönarstridsflygplan.
• Hastigheten på AI-utvecklingen går snabbare än riskbedömningen.
• Meta tillkännagav sin nästa generation av chipet Meta Training and Inference Accelerator (MTIA).

Och det var allt.

Bryr du dig om att OpenAI, och sannolikt andra, kan ha använt ditt YouTube-innehåll för att träna sin AI? Om Altman släppte Sora gratis antar jag att allt skulle vara förlåtet. Google kanske inte håller med.

Tycker du att Musk är överdrivet optimistisk med sina förutsägelser om AI-intelligens? Jag hoppas att han har rätt, men jag är lite orolig över att endast 2% av AI-forskningen går till säkerhet.

Hur galen är mängden AI-modeller vi ser nu? Vilken är din favorit? Jag håller fast vid mitt ChatGPT Plus-konto och hoppas på GPT-5. Men Claude Pro ser väldigt frestande ut.

Låt oss veta vilken artikel som stack ut för dig och fortsätt att skicka oss länkar till alla saftiga AI-berättelser som vi kan ha missat.