Um novo estudo publicado na revista Nature revela que os modelos de IA, incluindo os modelos de linguagem de grande dimensão (LLM), degradam-se rapidamente em termos de qualidade quando são treinados com dados gerados por modelos de IA anteriores.
Este fenómeno, designado por "colapso do modelo", pode corroer a qualidade dos futuros modelos de IA, especialmente à medida que mais conteúdos gerados por IA são lançados na Internet e, por conseguinte, reciclados e reutilizados nos dados de treino dos modelos.
Para investigar este fenómeno, investigadores da Universidade de Cambridge, da Universidade de Oxford e de outras instituições experiências efectuadas mostrando que, quando os modelos de IA são repetidamente treinados com dados produzidos por versões anteriores deles próprios, começam a gerar resultados sem sentido.
Este facto foi observado em diferentes tipos de modelos de IA, incluindo modelos de linguagem, autoencoders variacionais e modelos de mistura gaussiana.
Numa experiência-chave com modelos de linguagem, a equipa afinou o modelo OPT-125m no conjunto de dados WikiText-2 e depois utilizou-o para gerar novo texto.
Este texto gerado pela IA foi depois utilizado para treinar a "geração" seguinte do modelo, e o processo foi repetido vezes sem conta.
Não demorou muito para que os modelos começassem a produzir textos cada vez mais improváveis e sem sentido.
Na nona geração, o modelo estava a gerar uma completa algaraviada, como, por exemplo, listar vários tipos inexistentes de "jackrabbits" quando lhe era perguntado sobre as torres das igrejas inglesas.
Os investigadores também observaram como os modelos perdem informação sobre acontecimentos "raros" ou pouco frequentes antes de entrarem em colapso total.
Este facto é alarmante, uma vez que os acontecimentos raros estão frequentemente relacionados com grupos marginalizados ou com casos isolados. Sem eles, os modelos correm o risco de concentrar as suas respostas num espetro restrito de ideias e crenças, reforçando assim os preconceitos.
As empresas de IA estão cientes deste facto e, por isso, estão a fazer acordos com empresas e editores de notícias para garantir um fluxo constante de informações de alta qualidade, escritas por humanos e relevantes em termos de tópicos.
"A mensagem é que temos de ter muito cuidado com o que acaba nos nossos dados de formação". estudo coautor Zakhar Shumaylov da Universidade de Cambridge disse à Nature. "Caso contrário, as coisas correrão sempre, comprovadamente, mal."
Para agravar este efeito, um recente estudo do Dr. Richard Fletcher, Diretor de Investigação do Instituto Reuters para o Estudo do Jornalismo, concluiu que quase metade (48%) dos sítios de notícias mais populares em todo o mundo estão agora inacessíveis aos rastreadores da OpenAI, estando os rastreadores da IA da Google bloqueados em 24% dos sítios.
Como resultado, os modelos de IA têm acesso a um conjunto mais pequeno de dados recentes e de alta qualidade do que tinham anteriormente, aumentando o risco de formação em dados abaixo do padrão ou desactualizados.
Soluções para o colapso do modelo
Relativamente às soluções, os investigadores afirmam que manter o acesso a fontes de dados originais, geradas por humanos, é vital para o futuro da IA.
O rastreio e a gestão dos conteúdos gerados pela IA também seriam úteis para evitar que estes contaminem acidentalmente os conjuntos de dados de formação. Isso seria muito complicado, uma vez que os conteúdos gerados por IA estão a tornar-se impossíveis de detetar.
Os investigadores propõem quatro soluções principais:
- Marca de água em conteúdos gerados por IA para os distinguir dos dados criados por humanos
- Criar incentivos para que os seres humanos continuem a produzir conteúdos de alta qualidade
- Desenvolver métodos de filtragem e curadoria mais sofisticados para os dados de formação
- Explorar formas de preservar e dar prioridade ao acesso a informações originais, não geradas por IA
O colapso do modelo é um problema real
Este estudo está longe de ser o único a explorar o colapso de modelos.
Há pouco tempo, investigadores de Stanford comparou dois cenários em que pode ocorrer o colapso do modelo: uma em que os dados de treino de cada nova iteração do modelo substituem totalmente os dados anteriores e outra em que são adicionados dados sintéticos ao conjunto de dados existente.
Quando os dados foram substituídos, o desempenho do modelo deteriorou-se rapidamente em todas as arquitecturas testadas.
No entanto, quando se permitiu que os dados se "acumulassem", o colapso do modelo foi largamente evitado. Os sistemas de IA mantiveram o seu desempenho e, nalguns casos, apresentaram melhorias.
Assim, apesar das preocupações credíveis, o colapso do modelo não é uma conclusão precipitada - depende da quantidade de dados gerados por IA no conjunto e do rácio entre dados sintéticos e autênticos.
Se e quando o colapso do modelo começar a ser evidente nos modelos de fronteira, pode ter a certeza de que as empresas de IA estarão a lutar por uma solução a longo prazo.
Ainda não chegámos lá, mas pode ser uma questão de quando e não de se.
