{"id":12519,"date":"2024-05-22T18:16:07","date_gmt":"2024-05-22T18:16:07","guid":{"rendered":"https:\/\/dailyai.com\/?p=12519"},"modified":"2024-05-24T10:16:44","modified_gmt":"2024-05-24T10:16:44","slug":"decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/05\/decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box\/","title":{"rendered":"De AI-geest ontcijferen: Antropische onderzoekers kijken in de \"zwarte doos\""},"content":{"rendered":"

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> onderzoekers hebben met succes miljoenen concepten ge\u00efdentificeerd binnen Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> Sonnet, een van hun gevorderde LLM's.<\/b><\/p>\n

AI-modellen worden vaak beschouwd als zwarte dozen, wat betekent dat je er niet in kunt 'kijken' om precies te begrijpen hoe ze werken.\u00a0<\/span><\/p>\n

Als je een LLM een invoer geeft, genereert deze een antwoord, maar de redenering achter de keuzes is niet duidelijk. <\/span><\/p>\n

Je input gaat erin en de output komt eruit - en zelfs de AI-ontwikkelaars zelf begrijpen niet echt wat er in die 'doos' gebeurt.\u00a0<\/span><\/p>\n

Neurale netwerken cre\u00ebren hun eigen interne representaties van informatie wanneer ze inputs toewijzen aan outputs tijdens het trainen van gegevens.\u00a0<\/span>De bouwstenen van dit proces, \"neuronactivaties\" genoemd, worden weergegeven door numerieke waarden. <\/span><\/p>\n

Elk concept is verdeeld over meerdere neuronen en elk neuron draagt bij aan de representatie van meerdere concepten, waardoor het lastig is om concepten direct in kaart te brengen bij individuele neuronen.<\/span><\/p>\n

Dit is in grote lijnen vergelijkbaar met onze menselijke hersenen. Net zoals onze hersenen zintuiglijke input verwerken en gedachten, gedrag en herinneringen genereren, blijven de miljarden, zelfs triljarden processen achter deze functies voornamelijk onbekend voor de wetenschap.<\/span><\/p>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>onderzoek<\/span><\/a> probeert in de zwarte doos van AI te kijken met een techniek die \"woordenboekleren\" wordt genoemd.\u00a0<\/span><\/p>\n

Dit houdt in dat complexe patronen in een AI-model worden ontleed in lineaire bouwstenen of \"atomen\" die intu\u00eftief zinvol zijn voor mensen.<\/span><\/p>\n

LLM's in kaart brengen met woordenboekleren<\/h2>\n

In oktober 2023, Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> pasten deze methode toe op een klein \"speelgoed\" taalmodel en vonden coherente kenmerken die overeenkomen met concepten als hoofdletters, DNA-sequenties, achternamen in citaten, wiskundige zelfstandige naamwoorden of functieargumenten in Python-code.<\/span><\/p>\n

In dit nieuwste onderzoek wordt de techniek opgeschaald om te werken voor de grotere AI-taalmodellen van vandaag, in dit geval, Anthropic<\/span><\/span><\/span><\/span>'s Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3 Sonnet.\u00a0<\/span><\/p>\n

Hier wordt stap voor stap uitgelegd hoe het onderzoek in zijn werk ging:<\/span><\/p>\n

Patronen identificeren met woordenboekleren<\/b><\/h4>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> gebruikten woordenboekleren om neuronactivaties in verschillende contexten te analyseren en gemeenschappelijke patronen te identificeren. <\/span><\/p>\n

Woordenboek leren groepeert deze activeringen in een kleinere set van betekenisvolle \"kenmerken\", die concepten van een hoger niveau vertegenwoordigen die door het model zijn geleerd. <\/span><\/p>\n

Door deze kenmerken te identificeren, kunnen onderzoekers beter begrijpen hoe het model informatie verwerkt en weergeeft.<\/span><\/p>\n

Kenmerken extraheren uit de middelste laag<\/b><\/h4>\n

De onderzoekers richtten zich op de middelste laag van Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3.0 Sonnet, dat dient als kritisch punt in de verwerkingspijplijn van het model. <\/span><\/p>\n

Door woordenboekleren toe te passen op deze laag worden miljoenen kenmerken ge\u00ebxtraheerd die de interne representaties en geleerde concepten van het model in dit stadium vastleggen. <\/span><\/p>\n

Door kenmerken uit de middelste laag te extraheren, kunnen onderzoekers onderzoeken hoe het model informatie begrijpt. na<\/em> het heeft de invoer verwerkt voor<\/em> die de uiteindelijke uitvoer genereert.<\/span><\/p>\n

Diverse en abstracte concepten ontdekken<\/b><\/h4>\n

De ge\u00ebxtraheerde kenmerken onthulden een uitgebreide reeks concepten die geleerd waren door Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>Van concrete entiteiten zoals steden en mensen tot abstracte begrippen gerelateerd aan wetenschappelijke velden en programmeersyntaxis. <\/span><\/p>\n

Interessant genoeg bleken de kenmerken multimodaal te zijn en te reageren op zowel tekstuele als visuele input, wat aangeeft dat het model concepten kan leren en representeren in verschillende modaliteiten. <\/span><\/p>\n

Bovendien suggereren de meertalige kenmerken dat het model concepten in verschillende talen kan begrijpen.<\/span><\/p>\n

\"<span<\/p>\n

De organisatie van concepten analyseren<\/b><\/h3>\n

Om te begrijpen hoe het model verschillende concepten organiseert en met elkaar in verband brengt, analyseerden de onderzoekers de overeenkomsten tussen kenmerken op basis van hun activeringspatronen. <\/span><\/p>\n

Ze ontdekten dat kenmerken die verwante concepten vertegenwoordigen de neiging hadden om samen te clusteren. Kenmerken die bijvoorbeeld geassocieerd werden met steden of wetenschappelijke disciplines vertoonden een grotere overeenkomst dan kenmerken die niet-gerelateerde concepten vertegenwoordigden. <\/span><\/p>\n

Dit suggereert dat de interne organisatie van concepten in het model tot op zekere hoogte overeenkomt met menselijke intu\u00efties over conceptuele relaties.<\/span><\/p>\n

\"antropisch\"
Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> abstracte begrippen als \"innerlijk conflict\" in kaart wist te brengen. Bron: Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/a>.<\/figcaption><\/figure>\n

De functies controleren<\/b><\/h4>\n

Om te bevestigen dat de ge\u00efdentificeerde kenmerken het gedrag en de uitvoer van het model direct be\u00efnvloeden, voerden de onderzoekers experimenten uit met \"kenmerksturing\". <\/span><\/p>\n

Dit bestond uit het selectief versterken of onderdrukken van de activatie van specifieke kenmerken tijdens de verwerking van het model en het observeren van het effect op de reacties. <\/span><\/p>\n

Door individuele kenmerken te manipuleren, konden onderzoekers een direct verband leggen tussen individuele kenmerken en het gedrag van het model. Door bijvoorbeeld een kenmerk met betrekking tot een bepaalde stad te versterken, genereerde het model stadsafhankelijke uitkomsten, zelfs in irrelevante contexten.<\/span><\/p>\n

Lees het volledige onderzoek hier<\/a>.<\/p>\n