{"id":12519,"date":"2024-05-22T18:16:07","date_gmt":"2024-05-22T18:16:07","guid":{"rendered":"https:\/\/dailyai.com\/?p=12519"},"modified":"2024-05-24T10:16:44","modified_gmt":"2024-05-24T10:16:44","slug":"decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/05\/decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box\/","title":{"rendered":"Avkodning av AI-sinnet: Antropiska forskare tittar in i den \"svarta l\u00e5dan\""},"content":{"rendered":"

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> forskare framg\u00e5ngsrikt identifierat miljontals begrepp inom Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> Sonnet, en av deras avancerade LLM:er.<\/b><\/p>\n

AI-modeller betraktas ofta som svarta l\u00e5dor, vilket inneb\u00e4r att man inte kan \"se\" in i dem f\u00f6r att f\u00f6rst\u00e5 exakt hur de fungerar.\u00a0<\/span><\/p>\n

N\u00e4r du ger en LLM en inmatning genererar den ett svar, men resonemanget bakom dess val \u00e4r inte tydligt. <\/span><\/p>\n

Din input g\u00e5r in och output kommer ut - och inte ens AI-utvecklarna sj\u00e4lva f\u00f6rst\u00e5r riktigt vad som h\u00e4nder inuti den d\u00e4r \"l\u00e5dan\".\u00a0<\/span><\/p>\n

Neurala n\u00e4tverk skapar sina egna interna representationer av information n\u00e4r de mappar inmatningar till utmatningar under datatr\u00e4ningen.\u00a0<\/span>Byggstenarna i denna process, som kallas \"neuronaktiveringar\", representeras av numeriska v\u00e4rden. <\/span><\/p>\n

Varje begrepp \u00e4r f\u00f6rdelat p\u00e5 flera neuroner, och varje neuron bidrar till att representera flera begrepp, vilket g\u00f6r det sv\u00e5rt att mappa begrepp direkt till enskilda neuroner.<\/span><\/p>\n

Detta \u00e4r i stort sett analogt med v\u00e5ra m\u00e4nskliga hj\u00e4rnor. Precis som v\u00e5ra hj\u00e4rnor bearbetar sinnesintryck och genererar tankar, beteenden och minnen, \u00e4r de miljarder, till och med biljoner, processer som ligger bakom dessa funktioner i huvudsak ok\u00e4nda f\u00f6r vetenskapen.<\/span><\/p>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>studie<\/span><\/a> f\u00f6rs\u00f6ker se in i AI:s svarta l\u00e5da med en teknik som kallas \"dictionary learning\".\u00a0<\/span><\/p>\n

Detta inneb\u00e4r att komplexa m\u00f6nster i en AI-modell bryts ned till linj\u00e4ra byggstenar eller \"atomer\" som \u00e4r intuitivt begripliga f\u00f6r m\u00e4nniskor.<\/span><\/p>\n

Mappning av LLM:er med Dictionary Learning<\/h2>\n

I oktober 2023, Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> till\u00e4mpade denna metod p\u00e5 en liten \"leksaksspr\u00e5kmodell\" och fann sammanh\u00e4ngande funktioner som motsvarade begrepp som versaler, DNA-sekvenser, efternamn i citat, matematiska substantiv eller funktionsargument i Python-kod.<\/span><\/p>\n

Den senaste studien skalar upp tekniken s\u00e5 att den fungerar f\u00f6r dagens st\u00f6rre AI-spr\u00e5kmodeller, i det h\u00e4r fallet, Anthropic<\/span><\/span><\/span><\/span>'s Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3 Sonett.\u00a0<\/span><\/p>\n

H\u00e4r f\u00f6ljer en steg-f\u00f6r-stegbeskrivning av hur studien gick till:<\/span><\/p>\n

Identifiera m\u00f6nster med hj\u00e4lp av ordboksinl\u00e4rning<\/b><\/h4>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> anv\u00e4nde ordboksinl\u00e4rning f\u00f6r att analysera neuronaktiveringar i olika sammanhang och identifiera gemensamma m\u00f6nster. <\/span><\/p>\n

Ordboksinl\u00e4rning grupperar dessa aktiveringar till en mindre upps\u00e4ttning meningsfulla \"funktioner\", som representerar begrepp p\u00e5 h\u00f6gre niv\u00e5 som modellen l\u00e4rt sig. <\/span><\/p>\n

Genom att identifiera dessa egenskaper kan forskarna b\u00e4ttre f\u00f6rst\u00e5 hur modellen bearbetar och representerar information.<\/span><\/p>\n

Extrahering av funktioner fr\u00e5n mellanlagret<\/b><\/h4>\n

Forskarna fokuserade p\u00e5 det mellersta lagret av Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3.0 Sonnet, som fungerar som en kritisk punkt i modellens bearbetningspipeline. <\/span><\/p>\n

Genom att till\u00e4mpa ordboksinl\u00e4rning p\u00e5 detta lager extraheras miljontals funktioner som f\u00e5ngar modellens interna representationer och inl\u00e4rda begrepp i detta skede. <\/span><\/p>\n

Genom att extrahera funktioner fr\u00e5n det mellersta lagret kan forskare unders\u00f6ka modellens f\u00f6rst\u00e5else av information efter<\/em> den har bearbetat inmatningen f\u00f6re<\/em> generera den slutliga produktionen.<\/span><\/p>\n

Uppt\u00e4cka olika och abstrakta begrepp<\/b><\/h4>\n

De extraherade funktionerna avsl\u00f6jade ett expansivt utbud av begrepp som l\u00e4rts in av Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>fr\u00e5n konkreta enheter som st\u00e4der och m\u00e4nniskor till abstrakta begrepp relaterade till vetenskapliga omr\u00e5den och programmeringssyntax. <\/span><\/p>\n

Intressant nog visade det sig att funktionerna var multimodala och svarade p\u00e5 b\u00e5de textuella och visuella intryck, vilket tyder p\u00e5 att modellen kan l\u00e4ra sig och representera begrepp i olika modaliteter. <\/span><\/p>\n

Dessutom tyder de flerspr\u00e5kiga funktionerna p\u00e5 att modellen kan f\u00f6rst\u00e5 begrepp som uttrycks p\u00e5 olika spr\u00e5k.<\/span><\/p>\n

\"<span<\/p>\n

Analys av begreppens organisation<\/b><\/h3>\n

F\u00f6r att f\u00f6rst\u00e5 hur modellen organiserar och relaterar olika begrepp analyserade forskarna likheten mellan funktioner baserat p\u00e5 deras aktiveringsm\u00f6nster. <\/span><\/p>\n

De uppt\u00e4ckte att funktioner som representerar relaterade begrepp tenderade att gruppera sig tillsammans. Till exempel uppvisade funktioner som associerades med st\u00e4der eller vetenskapliga discipliner h\u00f6gre likhet med varandra \u00e4n med funktioner som representerade orelaterade koncept. <\/span><\/p>\n

Detta tyder p\u00e5 att modellens interna organisation av begrepp i viss m\u00e5n \u00f6verensst\u00e4mmer med m\u00e4nskliga intuitioner om begreppsm\u00e4ssiga relationer.<\/span><\/p>\n

\"antropisk\"
Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> klarade av att kartl\u00e4gga abstrakta begrepp som \"inre konflikt\". K\u00e4lla: Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/a>.<\/figcaption><\/figure>\n

Verifiering av funktionerna<\/b><\/h4>\n

F\u00f6r att bekr\u00e4fta att de identifierade funktionerna direkt p\u00e5verkar modellens beteende och utdata genomf\u00f6rde forskarna experiment med \"funktionsstyrning\". <\/span><\/p>\n

Detta innebar att man selektivt f\u00f6rst\u00e4rkte eller undertryckte aktiveringen av specifika funktioner under modellens bearbetning och observerade hur detta p\u00e5verkade dess svar. <\/span><\/p>\n

Genom att manipulera enskilda funktioner kunde forskarna etablera en direkt koppling mellan enskilda funktioner och modellens beteende. Till exempel, genom att f\u00f6rst\u00e4rka en funktion relaterad till en specifik stad fick modellen att generera stadsbaserade utg\u00e5ngar, \u00e4ven i irrelevanta sammanhang.<\/span><\/p>\n

L\u00e4s hela studien h\u00e4r<\/a>.<\/p>\n