{"id":12519,"date":"2024-05-22T18:16:07","date_gmt":"2024-05-22T18:16:07","guid":{"rendered":"https:\/\/dailyai.com\/?p=12519"},"modified":"2024-05-24T10:16:44","modified_gmt":"2024-05-24T10:16:44","slug":"decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/05\/decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box\/","title":{"rendered":"Afkodning af AI-sindet: Antropiske forskere kigger ind i den \"sorte boks\""},"content":{"rendered":"

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> forskere med succes identificeret millioner af koncepter inden for Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> Sonnet, en af deres avancerede LLM'er.<\/b><\/p>\n

AI-modeller betragtes ofte som sorte bokse, hvilket betyder, at man ikke kan 'se' ind i dem for at forst\u00e5 pr\u00e6cis, hvordan de fungerer.\u00a0<\/span><\/p>\n

N\u00e5r du giver en LLM et input, genererer den et svar, men r\u00e6sonnementet bag dens valg er ikke klart. <\/span><\/p>\n

Dit input g\u00e5r ind, og outputtet kommer ud - og selv AI-udviklerne forst\u00e5r ikke helt, hvad der sker inde i den 'kasse'.\u00a0<\/span><\/p>\n

Neurale netv\u00e6rk skaber deres egne interne repr\u00e6sentationer af information, n\u00e5r de mapper input til output under datatr\u00e6ning.\u00a0<\/span>Byggestenene i denne proces, kaldet \"neuronaktiveringer\", repr\u00e6senteres af numeriske v\u00e6rdier. <\/span><\/p>\n

Hvert begreb er fordelt p\u00e5 flere neuroner, og hver neuron bidrager til at repr\u00e6sentere flere begreber, hvilket g\u00f8r det vanskeligt at kortl\u00e6gge begreber direkte til individuelle neuroner.<\/span><\/p>\n

Dette er stort set analogt med vores menneskelige hjerner. Ligesom vores hjerner behandler sanseindtryk og genererer tanker, adf\u00e6rd og hukommelse, er de milliarder, endda billioner, af processer bag disse funktioner stadig prim\u00e6rt ukendte for videnskaben.<\/span><\/p>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>'s unders\u00f8gelse<\/span><\/a> fors\u00f8ger at se ind i AI's sorte boks med en teknik, der kaldes \"ordbogsindl\u00e6ring\".\u00a0<\/span><\/p>\n

Det indeb\u00e6rer, at man nedbryder komplekse m\u00f8nstre i en AI-model til line\u00e6re byggesten eller \"atomer\", som giver intuitiv mening for mennesker.<\/span><\/p>\n

Kortl\u00e6gning af LLM'er med ordbogsindl\u00e6ring<\/h2>\n

I oktober 2023, Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> anvendte denne metode p\u00e5 en lille \"leget\u00f8js\"-sprogmodel og fandt sammenh\u00e6ngende tr\u00e6k, der svarede til begreber som store bogstaver, DNA-sekvenser, efternavne i citater, matematiske navneord eller funktionsargumenter i Python-kode.<\/span><\/p>\n

Denne seneste unders\u00f8gelse opskalerer teknikken, s\u00e5 den i dette tilf\u00e6lde fungerer med nutidens st\u00f8rre AI-sprogmodeller, Anthropic<\/span><\/span><\/span><\/span>'s Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3 Sonnet.\u00a0<\/span><\/p>\n

Her er en trin-for-trin gennemgang af, hvordan unders\u00f8gelsen fungerede:<\/span><\/p>\n

Identificering af m\u00f8nstre med ordbogsindl\u00e6ring<\/b><\/h4>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> brugte ordbogsindl\u00e6ring til at analysere neuronaktiveringer p\u00e5 tv\u00e6rs af forskellige sammenh\u00e6nge og identificere f\u00e6lles m\u00f8nstre. <\/span><\/p>\n

Ordbogsindl\u00e6ring grupperer disse aktiveringer i et mindre s\u00e6t af meningsfulde \"funktioner\", der repr\u00e6senterer begreber p\u00e5 h\u00f8jere niveau, som modellen har l\u00e6rt. <\/span><\/p>\n

Ved at identificere disse funktioner kan forskere bedre forst\u00e5, hvordan modellen behandler og repr\u00e6senterer information.<\/span><\/p>\n

Udtr\u00e6k af funktioner fra det midterste lag<\/b><\/h4>\n

Forskerne fokuserede p\u00e5 det midterste lag af Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3.0 Sonnet, som fungerer som et kritisk punkt i modellens behandlingspipeline. <\/span><\/p>\n

Ved at anvende ordbogsindl\u00e6ring p\u00e5 dette lag udtr\u00e6kkes millioner af funktioner, der indfanger modellens interne repr\u00e6sentationer og indl\u00e6rte begreber p\u00e5 dette stadie. <\/span><\/p>\n

Ved at udtr\u00e6kke funktioner fra det midterste lag kan forskere unders\u00f8ge modellens forst\u00e5else af information efter<\/em> den har behandlet inputtet f\u00f8r<\/em> der genererer det endelige output.<\/span><\/p>\n

Opdagelse af forskellige og abstrakte begreber<\/b><\/h4>\n

De ekstraherede funktioner afsl\u00f8rede en bred vifte af begreber, der var l\u00e6rt af Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>fra konkrete enheder som byer og mennesker til abstrakte begreber relateret til videnskabelige omr\u00e5der og programmeringssyntaks. <\/span><\/p>\n

Interessant nok viste det sig, at funktionerne var multimodale og reagerede p\u00e5 b\u00e5de tekstlige og visuelle input, hvilket tyder p\u00e5, at modellen kan l\u00e6re og repr\u00e6sentere begreber p\u00e5 tv\u00e6rs af forskellige modaliteter. <\/span><\/p>\n

Derudover tyder de flersprogede funktioner p\u00e5, at modellen kan forst\u00e5 begreber, der er udtrykt p\u00e5 forskellige sprog.<\/span><\/p>\n

\"<span<\/p>\n

Analysere organiseringen af koncepter<\/b><\/h3>\n

For at forst\u00e5, hvordan modellen organiserer og relaterer forskellige begreber, analyserede forskerne ligheden mellem funktioner baseret p\u00e5 deres aktiveringsm\u00f8nstre. <\/span><\/p>\n

De opdagede, at funktioner, der repr\u00e6senterede relaterede begreber, havde en tendens til at gruppere sig sammen. F.eks. udviste funktioner, der var forbundet med byer eller videnskabelige discipliner, st\u00f8rre lighed med hinanden end med funktioner, der repr\u00e6senterede ikke-relaterede koncepter. <\/span><\/p>\n

Det tyder p\u00e5, at modellens interne organisering af begreber til en vis grad stemmer overens med menneskelige intuitioner om begrebsrelationer.<\/span><\/p>\n

\"antropisk\"
Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> form\u00e5ede at kortl\u00e6gge abstrakte begreber som \"indre konflikt\". Kilde: Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/a>.<\/figcaption><\/figure>\n

Bekr\u00e6ftelse af funktionerne<\/b><\/h4>\n

For at bekr\u00e6fte, at de identificerede funktioner har direkte indflydelse p\u00e5 modellens adf\u00e6rd og output, udf\u00f8rte forskerne eksperimenter med \"funktionsstyring\". <\/span><\/p>\n

Det indebar, at man selektivt forst\u00e6rkede eller undertrykte aktiveringen af specifikke funktioner under modellens behandling og observerede indvirkningen p\u00e5 dens svar. <\/span><\/p>\n

Ved at manipulere individuelle funktioner kunne forskerne etablere en direkte forbindelse mellem individuelle funktioner og modellens adf\u00e6rd. Hvis man f.eks. forst\u00e6rkede en funktion, der var relateret til en bestemt by, fik det modellen til at generere by-biased output, selv i irrelevante sammenh\u00e6nge.<\/span><\/p>\n

L\u00e6s hele unders\u00f8gelsen her<\/a>.<\/p>\n