{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"Estudo revela que os modelos de IA enfrentam um colapso quando s\u00e3o treinados com dados gerados por IA"},"content":{"rendered":"

Um novo estudo publicado na revista Nature revela que os modelos de IA, incluindo os modelos de linguagem de grande dimens\u00e3o (LLM), degradam-se rapidamente em termos de qualidade quando s\u00e3o treinados com dados gerados por modelos de IA anteriores.\u00a0<\/b><\/p>\n

Este fen\u00f3meno, designado por \"colapso do modelo\", pode corroer a qualidade dos futuros modelos de IA, especialmente \u00e0 medida que mais conte\u00fados gerados por IA s\u00e3o lan\u00e7ados na Internet e, por conseguinte, reciclados e reutilizados nos dados de treino dos modelos.\u00a0<\/span><\/p>\n

Para investigar este fen\u00f3meno, investigadores da Universidade de Cambridge, da Universidade de Oxford e de outras institui\u00e7\u00f5es experi\u00eancias efectuadas<\/a> mostrando que, quando os modelos de IA s\u00e3o repetidamente treinados com dados produzidos por vers\u00f5es anteriores deles pr\u00f3prios, come\u00e7am a gerar resultados sem sentido.\u00a0<\/span><\/p>\n

Este facto foi observado em diferentes tipos de modelos de IA, incluindo modelos de linguagem, autoencoders variacionais e modelos de mistura gaussiana.<\/span><\/p>\n

Numa experi\u00eancia-chave com modelos de linguagem, a equipa afinou o modelo OPT-125m no conjunto de dados WikiText-2 e depois utilizou-o para gerar novo texto. <\/span><\/p>\n

Este texto gerado pela IA foi depois utilizado para treinar a \"gera\u00e7\u00e3o\" seguinte do modelo, e o processo foi repetido vezes sem conta.\u00a0<\/span><\/p>\n

N\u00e3o demorou muito para que os modelos come\u00e7assem a produzir textos cada vez mais improv\u00e1veis e sem sentido.\u00a0<\/span><\/p>\n

Na nona gera\u00e7\u00e3o, o modelo estava a gerar uma completa algaraviada, como, por exemplo, listar v\u00e1rios tipos inexistentes de \"jackrabbits\" quando lhe era perguntado sobre as torres das igrejas inglesas.<\/span><\/p>\n

Os investigadores tamb\u00e9m observaram como os modelos perdem informa\u00e7\u00e3o sobre acontecimentos \"raros\" ou pouco frequentes antes de entrarem em colapso total.\u00a0<\/span><\/p>\n

Este facto \u00e9 alarmante, uma vez que os acontecimentos raros est\u00e3o frequentemente relacionados com grupos marginalizados ou com casos isolados. Sem eles, os modelos correm o risco de concentrar as suas respostas num espetro restrito de ideias e cren\u00e7as, refor\u00e7ando assim os preconceitos.<\/span><\/p>\n

As empresas de IA est\u00e3o cientes deste facto e, por isso, est\u00e3o a fazer acordos com empresas e editores de not\u00edcias para garantir um fluxo constante de informa\u00e7\u00f5es de alta qualidade, escritas por humanos e relevantes em termos de t\u00f3picos.\u00a0<\/span><\/p>\n

\"A mensagem \u00e9 que temos de ter muito cuidado com o que acaba nos nossos dados de forma\u00e7\u00e3o\". <\/span>estudo<\/span> coautor Zakhar Shumaylov da Universidade de Cambridge <\/span>disse \u00e0 Nature<\/span><\/a>. \"Caso contr\u00e1rio, as coisas correr\u00e3o sempre, comprovadamente, mal.\"<\/span><\/p>\n

Para agravar este efeito, um recente <\/span>estudo<\/span><\/a> do Dr. Richard Fletcher, Diretor de Investiga\u00e7\u00e3o do Instituto Reuters para o Estudo do Jornalismo, concluiu que quase metade (48%) dos s\u00edtios de not\u00edcias mais populares em todo o mundo est\u00e3o agora inacess\u00edveis aos rastreadores da OpenAI, estando os rastreadores da IA da Google bloqueados em 24% dos s\u00edtios.<\/span><\/p>\n

Como resultado, os modelos de IA t\u00eam acesso a um conjunto mais pequeno de dados recentes e de alta qualidade do que tinham anteriormente, aumentando o risco de forma\u00e7\u00e3o em dados abaixo do padr\u00e3o ou desactualizados.\u00a0<\/span><\/p>\n

Solu\u00e7\u00f5es para o colapso do modelo<\/h2>\n

Relativamente \u00e0s solu\u00e7\u00f5es, os investigadores afirmam que manter o acesso a fontes de dados originais, geradas por humanos, \u00e9 vital para o futuro da IA.\u00a0<\/span><\/p>\n

O rastreio e a gest\u00e3o dos conte\u00fados gerados pela IA tamb\u00e9m seriam \u00fateis para evitar que estes contaminem acidentalmente os conjuntos de dados de forma\u00e7\u00e3o. Isso seria muito complicado, uma vez que os conte\u00fados gerados por IA est\u00e3o a tornar-se imposs\u00edveis de detetar.\u00a0<\/span><\/p>\n

Os investigadores prop\u00f5em quatro solu\u00e7\u00f5es principais:<\/span><\/p>\n