{"id":12519,"date":"2024-05-22T18:16:07","date_gmt":"2024-05-22T18:16:07","guid":{"rendered":"https:\/\/dailyai.com\/?p=12519"},"modified":"2024-05-24T10:16:44","modified_gmt":"2024-05-24T10:16:44","slug":"decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/05\/decoding-the-ai-mind-anthropic-researchers-peer-inside-the-black-box\/","title":{"rendered":"Descodificar a mente da IA: Investigadores antr\u00f3picos espreitam para dentro da \"caixa negra\""},"content":{"rendered":"

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> os investigadores identificaram com sucesso milh\u00f5es de conceitos dentro de Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> Sonnet, um dos seus LLMs avan\u00e7ados.<\/b><\/p>\n

Os modelos de IA s\u00e3o frequentemente considerados caixas negras, o que significa que n\u00e3o \u00e9 poss\u00edvel \"ver\" o seu interior para compreender exatamente como funcionam.\u00a0<\/span><\/p>\n

Quando se fornece um input a um LLM, este gera uma resposta, mas o racioc\u00ednio por detr\u00e1s das suas escolhas n\u00e3o \u00e9 claro. <\/span><\/p>\n

O seu input entra e o output sai - e mesmo os pr\u00f3prios criadores de IA n\u00e3o compreendem verdadeiramente o que acontece dentro dessa \"caixa\".\u00a0<\/span><\/p>\n

As redes neuronais criam as suas pr\u00f3prias representa\u00e7\u00f5es internas da informa\u00e7\u00e3o quando mapeiam os inputs para os outputs durante o treino dos dados.\u00a0<\/span>Os blocos de constru\u00e7\u00e3o deste processo, chamados \"activa\u00e7\u00f5es neuronais\", s\u00e3o representados por valores num\u00e9ricos. <\/span><\/p>\n

Cada conceito est\u00e1 distribu\u00eddo por v\u00e1rios neur\u00f3nios e cada neur\u00f3nio contribui para representar v\u00e1rios conceitos, o que torna dif\u00edcil mapear conceitos diretamente para neur\u00f3nios individuais.<\/span><\/p>\n

Isto \u00e9, em tra\u00e7os gerais, an\u00e1logo ao nosso c\u00e9rebro humano. Tal como os nossos c\u00e9rebros processam os est\u00edmulos sensoriais e geram pensamentos, comportamentos e mem\u00f3rias, os bili\u00f5es, ou mesmo trili\u00f5es, de processos subjacentes a essas fun\u00e7\u00f5es permanecem essencialmente desconhecidos para a ci\u00eancia.<\/span><\/p>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>estudo de<\/span><\/a> tenta ver o interior da caixa negra da IA com uma t\u00e9cnica chamada \"aprendizagem de dicion\u00e1rio\".\u00a0<\/span><\/p>\n

Isto envolve a decomposi\u00e7\u00e3o de padr\u00f5es complexos num modelo de IA em blocos de constru\u00e7\u00e3o lineares ou \"\u00e1tomos\" que fazem sentido intuitivamente para os humanos.<\/span><\/p>\n

Mapeamento de LLMs com aprendizagem de dicion\u00e1rio<\/h2>\n

Em outubro de 2023, Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> aplicou este m\u00e9todo a um pequeno modelo de linguagem \"de brincar\" e encontrou caracter\u00edsticas coerentes correspondentes a conceitos como texto em mai\u00fasculas, sequ\u00eancias de ADN, apelidos em cita\u00e7\u00f5es, nomes matem\u00e1ticos ou argumentos de fun\u00e7\u00f5es no c\u00f3digo Python.<\/span><\/p>\n

Este \u00faltimo estudo amplia a t\u00e9cnica para que funcione com os actuais modelos lingu\u00edsticos de IA de maior dimens\u00e3o, neste caso, Anthropic<\/span><\/span><\/span><\/span>'s Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3 Soneto.\u00a0<\/span><\/p>\n

Aqui est\u00e1 um passo-a-passo de como o estudo funcionou:<\/span><\/p>\n

Identificar padr\u00f5es com a aprendizagem de dicion\u00e1rios<\/b><\/h4>\n

Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> utilizou a aprendizagem de dicion\u00e1rios para analisar as activa\u00e7\u00f5es dos neur\u00f3nios em v\u00e1rios contextos e identificar padr\u00f5es comuns. <\/span><\/p>\n

A aprendizagem de dicion\u00e1rio agrupa estas activa\u00e7\u00f5es num conjunto mais pequeno de \"caracter\u00edsticas\" significativas, que representam conceitos de n\u00edvel superior aprendidos pelo modelo. <\/span><\/p>\n

Ao identificar estas caracter\u00edsticas, os investigadores podem compreender melhor a forma como o modelo processa e representa a informa\u00e7\u00e3o.<\/span><\/p>\n

Extra\u00e7\u00e3o de caracter\u00edsticas da camada interm\u00e9dia<\/b><\/h4>\n

Os investigadores centraram-se na camada interm\u00e9dia de Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> 3.0 Sonnet, que funciona como um ponto cr\u00edtico na cadeia de processamento do modelo. <\/span><\/p>\n

A aplica\u00e7\u00e3o da aprendizagem de dicion\u00e1rio a esta camada extrai milh\u00f5es de caracter\u00edsticas que captam as representa\u00e7\u00f5es internas do modelo e os conceitos aprendidos nesta fase. <\/span><\/p>\n

A extra\u00e7\u00e3o de caracter\u00edsticas da camada interm\u00e9dia permite aos investigadores examinar a compreens\u00e3o que o modelo tem da informa\u00e7\u00e3o ap\u00f3s<\/em> processou a entrada antes de<\/em> gerando o resultado final.<\/span><\/p>\n

Descobrir conceitos diversos e abstractos<\/b><\/h4>\n

As caracter\u00edsticas extra\u00eddas revelaram uma gama alargada de conceitos aprendidos por Claude<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>A defini\u00e7\u00e3o de \"cidade\" \u00e9 uma das mais importantes, desde entidades concretas como cidades e pessoas at\u00e9 no\u00e7\u00f5es abstractas relacionadas com dom\u00ednios cient\u00edficos e sintaxe de programa\u00e7\u00e3o. <\/span><\/p>\n

Curiosamente, verificou-se que as caracter\u00edsticas eram multimodais, respondendo a entradas textuais e visuais, o que indica que o modelo pode aprender e representar conceitos em diferentes modalidades. <\/span><\/p>\n

Al\u00e9m disso, as caracter\u00edsticas multilingues sugerem que o modelo pode compreender conceitos expressos em v\u00e1rias l\u00ednguas.<\/span><\/p>\n

\"<span<\/p>\n

Analisar a organiza\u00e7\u00e3o dos conceitos<\/b><\/h3>\n

Para compreender como o modelo organiza e relaciona diferentes conceitos, os investigadores analisaram a semelhan\u00e7a entre caracter\u00edsticas com base nos seus padr\u00f5es de ativa\u00e7\u00e3o. <\/span><\/p>\n

Descobriram que as caracter\u00edsticas que representam conceitos relacionados tendem a agrupar-se. Por exemplo, as caracter\u00edsticas associadas a cidades ou disciplinas cient\u00edficas apresentavam uma maior semelhan\u00e7a entre si do que as caracter\u00edsticas que representavam conceitos n\u00e3o relacionados. <\/span><\/p>\n

Isto sugere que a organiza\u00e7\u00e3o interna de conceitos do modelo se alinha, at\u00e9 certo ponto, com as intui\u00e7\u00f5es humanas sobre rela\u00e7\u00f5es conceptuais.<\/span><\/p>\n

\"antr\u00f3pico\"
Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span> conseguiu mapear conceitos abstractos como \"conflito interior\". Fonte: Anthropic<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/a>.<\/figcaption><\/figure>\n

Verifica\u00e7\u00e3o das caracter\u00edsticas<\/b><\/h4>\n

Para confirmar que as caracter\u00edsticas identificadas influenciam diretamente o comportamento e os resultados do modelo, os investigadores realizaram experi\u00eancias de \"orienta\u00e7\u00e3o de caracter\u00edsticas\". <\/span><\/p>\n

Isto envolveu a amplifica\u00e7\u00e3o ou supress\u00e3o selectiva da ativa\u00e7\u00e3o de caracter\u00edsticas espec\u00edficas durante o processamento do modelo e a observa\u00e7\u00e3o do impacto nas suas respostas. <\/span><\/p>\n

Ao manipular as caracter\u00edsticas individuais, os investigadores puderam estabelecer uma liga\u00e7\u00e3o direta entre as caracter\u00edsticas individuais e o comportamento do modelo. Por exemplo, a amplifica\u00e7\u00e3o de uma carater\u00edstica relacionada com uma cidade espec\u00edfica fez com que o modelo gerasse resultados com base na cidade, mesmo em contextos irrelevantes.<\/span><\/p>\n

Ler o estudo completo aqui<\/a>.<\/p>\n