{"id":12519,"date":"2024-05-22T18:16:07","date_gmt":"2024-05-22T18:16:07","guid":{"rendered":"https:\/\/dailyai.com\/?p=12519"},"modified":"2024-05-24T10:16:44","modified_gmt":"2024-05-24T10:16:44","slug":"decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/05\/decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box\/","title":{"rendered":"Avkoding av AI-sinnet: Antropiske forskere kikker inn i den \"svarte boksen\""},"content":{"rendered":"

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> forskere har lykkes med \u00e5 identifisere millioner av konsepter innenfor Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> Sonnet, en av deres avanserte LLM-er.<\/b><\/p>\n

AI-modeller anses ofte som svarte bokser, noe som betyr at man ikke kan \"se\" inn i dem for \u00e5 forst\u00e5 n\u00f8yaktig hvordan de fungerer.\u00a0<\/span><\/p>\n

N\u00e5r du gir en LLM en input, genererer den et svar, men det er uklart hva som ligger bak valgene. <\/span><\/p>\n

Inndataene dine g\u00e5r inn, og resultatet kommer ut - og selv AI-utviklerne forst\u00e5r ikke helt hva som skjer inne i denne \"boksen\".\u00a0<\/span><\/p>\n

Nevrale nettverk skaper sine egne interne representasjoner av informasjon n\u00e5r de tilordner inndata til utdata under datatreningen.\u00a0<\/span>Byggesteinene i denne prosessen, kalt \"nevronaktiveringer\", representeres av numeriske verdier. <\/span><\/p>\n

Hvert begrep er fordelt p\u00e5 flere nevroner, og hver nevron bidrar til \u00e5 representere flere begreper, noe som gj\u00f8r det vanskelig \u00e5 tilordne begreper direkte til enkeltnevroner.<\/span><\/p>\n

Dette er i stor grad analogt med menneskehjernen. P\u00e5 samme m\u00e5te som hjernen v\u00e5r behandler sanseinntrykk og genererer tanker, atferd og minner, er de milliarder, til og med billioner, av prosesser som ligger bak disse funksjonene, stort sett ukjente for vitenskapen.<\/span><\/p>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>'s studie<\/span><\/a> fors\u00f8ker \u00e5 se inn i AIs svarte boks med en teknikk som kalles \"ordbokl\u00e6ring\".\u00a0<\/span><\/p>\n

Dette inneb\u00e6rer \u00e5 dekomponere komplekse m\u00f8nstre i en AI-modell til line\u00e6re byggesteiner eller \"atomer\" som gir intuitiv mening for mennesker.<\/span><\/p>\n

Kartlegging av LLM-er med ordbokl\u00e6ring<\/h2>\n

I oktober 2023, Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> brukte denne metoden p\u00e5 en liten \"leke\"-spr\u00e5kmodell og fant sammenhengende trekk som tilsvarte begreper som store bokstaver, DNA-sekvenser, etternavn i sitater, matematiske substantiver eller funksjonsargumenter i Python-kode.<\/span><\/p>\n

Denne siste studien skalerer opp teknikken til \u00e5 fungere for dagens st\u00f8rre AI-spr\u00e5kmodeller, i dette tilfellet, Anthropic<\/span><\/span><\/span><\/span>'s Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3 Sonett.\u00a0<\/span><\/p>\n

Her er en trinnvis gjennomgang av hvordan studien fungerte:<\/span><\/p>\n

Identifisere m\u00f8nstre med ordbokl\u00e6ring<\/b><\/h4>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> brukte ordbokl\u00e6ring til \u00e5 analysere nevronaktiveringer i ulike kontekster og identifisere felles m\u00f8nstre. <\/span><\/p>\n

Ordbokl\u00e6ring grupperer disse aktiveringene i et mindre sett med meningsfulle \"funksjoner\", som representerer begreper p\u00e5 h\u00f8yere niv\u00e5 som modellen har l\u00e6rt. <\/span><\/p>\n

Ved \u00e5 identifisere disse funksjonene kan forskerne bedre forst\u00e5 hvordan modellen behandler og representerer informasjon.<\/span><\/p>\n

Trekker ut funksjoner fra det midterste laget<\/b><\/h4>\n

Forskerne fokuserte p\u00e5 det midterste laget av Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3.0 Sonnet, som fungerer som et kritisk punkt i modellens prosesseringspipeline. <\/span><\/p>\n

Ved \u00e5 bruke ordbokl\u00e6ring p\u00e5 dette laget ekstraheres millioner av funksjoner som fanger opp modellens interne representasjoner og innl\u00e6rte begreper p\u00e5 dette stadiet. <\/span><\/p>\n

Ved \u00e5 trekke ut funksjoner fra det midterste laget kan forskerne unders\u00f8ke modellens forst\u00e5else av informasjon etter<\/em> den har behandlet inndataene f\u00f8r<\/em> som genererer det endelige resultatet.<\/span><\/p>\n

Oppdage ulike og abstrakte begreper<\/b><\/h4>\n

De ekstraherte funksjonene avsl\u00f8rte et ekspansivt spekter av begreper l\u00e6rt av Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>fra konkrete enheter som byer og mennesker til abstrakte begreper knyttet til vitenskapelige felt og programmeringssyntaks. <\/span><\/p>\n

Interessant nok viste det seg at funksjonene var multimodale og reagerte p\u00e5 b\u00e5de tekstlig og visuell input, noe som tyder p\u00e5 at modellen kan l\u00e6re og representere begreper p\u00e5 tvers av ulike modaliteter. <\/span><\/p>\n

I tillegg tyder de flerspr\u00e5klige funksjonene p\u00e5 at modellen kan forst\u00e5 begreper som er uttrykt p\u00e5 ulike spr\u00e5k.<\/span><\/p>\n

\"<span<\/p>\n

Analysere organiseringen av konsepter<\/b><\/h3>\n

For \u00e5 forst\u00e5 hvordan modellen organiserer og relaterer ulike konsepter, analyserte forskerne likheten mellom funksjonene basert p\u00e5 aktiveringsm\u00f8nstrene deres. <\/span><\/p>\n

De oppdaget at funksjoner som representerte relaterte konsepter, hadde en tendens til \u00e5 gruppere seg sammen. For eksempel viste det seg at funksjoner knyttet til byer eller vitenskapelige disipliner hadde st\u00f8rre likhet med hverandre enn med funksjoner som representerte urelaterte konsepter. <\/span><\/p>\n

Dette tyder p\u00e5 at modellens interne organisering av begreper til en viss grad samsvarer med menneskelige intuisjoner om konseptuelle relasjoner.<\/span><\/p>\n

\"antropisk\"
Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> klarte \u00e5 kartlegge abstrakte begreper som \"indre konflikt\". Kilde: Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/a>.<\/figcaption><\/figure>\n

Verifisering av funksjonene<\/b><\/h4>\n

For \u00e5 bekrefte at de identifiserte funksjonene p\u00e5virker modellens atferd og resultater direkte, utf\u00f8rte forskerne eksperimenter med \"funksjonsstyring\". <\/span><\/p>\n

Dette innebar at man selektivt forsterket eller undertrykte aktiveringen av bestemte funksjoner under modellens prosessering, og observerte hvordan dette p\u00e5virket responsene. <\/span><\/p>\n

Ved \u00e5 manipulere individuelle funksjoner kunne forskerne etablere en direkte kobling mellom individuelle funksjoner og modellens atferd. For eksempel f\u00f8rte en forsterkning av en funksjon knyttet til en bestemt by til at modellen genererte bybaserte resultater, selv i irrelevante sammenhenger.<\/span><\/p>\n

Les hele studien her<\/a>.<\/p>\n