{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"Une \u00e9tude r\u00e9v\u00e8le que les mod\u00e8les d'IA s'effondrent lorsqu'ils sont form\u00e9s sur des donn\u00e9es g\u00e9n\u00e9r\u00e9es par l'IA"},"content":{"rendered":"

Une nouvelle \u00e9tude publi\u00e9e dans Nature r\u00e9v\u00e8le que les mod\u00e8les d'IA, y compris les grands mod\u00e8les de langage (LLM), voient leur qualit\u00e9 se d\u00e9grader rapidement lorsqu'ils sont form\u00e9s sur des donn\u00e9es g\u00e9n\u00e9r\u00e9es par des mod\u00e8les d'IA ant\u00e9rieurs.\u00a0<\/b><\/p>\n

Ce ph\u00e9nom\u00e8ne, appel\u00e9 \"effondrement du mod\u00e8le\", pourrait \u00e9roder la qualit\u00e9 des futurs mod\u00e8les d'IA, d'autant plus que de plus en plus de contenus g\u00e9n\u00e9r\u00e9s par l'IA sont diffus\u00e9s sur l'internet et, par cons\u00e9quent, recycl\u00e9s et r\u00e9utilis\u00e9s dans les donn\u00e9es d'entra\u00eenement des mod\u00e8les.\u00a0<\/span><\/p>\n

Pour \u00e9tudier ce ph\u00e9nom\u00e8ne, des chercheurs de l'universit\u00e9 de Cambridge, de l'universit\u00e9 d'Oxford et d'autres institutions ont exp\u00e9riences men\u00e9es<\/a> qui montre que lorsque les mod\u00e8les d'IA sont entra\u00een\u00e9s de mani\u00e8re r\u00e9p\u00e9t\u00e9e sur des donn\u00e9es produites par des versions ant\u00e9rieures d'eux-m\u00eames, ils commencent \u00e0 produire des r\u00e9sultats absurdes.\u00a0<\/span><\/p>\n

Ce ph\u00e9nom\u00e8ne a \u00e9t\u00e9 observ\u00e9 pour diff\u00e9rents types de mod\u00e8les d'IA, notamment les mod\u00e8les de langage, les autoencodeurs variationnels et les mod\u00e8les de m\u00e9lange gaussien.<\/span><\/p>\n

Lors d'une exp\u00e9rience cl\u00e9 avec des mod\u00e8les de langage, l'\u00e9quipe a affin\u00e9 le mod\u00e8le OPT-125m sur l'ensemble de donn\u00e9es WikiText-2, puis l'a utilis\u00e9 pour g\u00e9n\u00e9rer un nouveau texte. <\/span><\/p>\n

Ce texte g\u00e9n\u00e9r\u00e9 par l'IA a ensuite \u00e9t\u00e9 utilis\u00e9 pour former la \"g\u00e9n\u00e9ration\" suivante du mod\u00e8le, et le processus a \u00e9t\u00e9 r\u00e9p\u00e9t\u00e9 \u00e0 l'infini.\u00a0<\/span><\/p>\n

Il n'a pas fallu longtemps pour que les mod\u00e8les commencent \u00e0 produire des textes de plus en plus improbables et absurdes.\u00a0<\/span><\/p>\n

\u00c0 la neuvi\u00e8me g\u00e9n\u00e9ration, le mod\u00e8le produisait un v\u00e9ritable charabia, comme l'\u00e9num\u00e9ration de plusieurs types inexistants de \"li\u00e8vres\" lorsqu'on l'interrogeait sur les tours des \u00e9glises anglaises.<\/span><\/p>\n

Les chercheurs ont \u00e9galement observ\u00e9 comment les mod\u00e8les perdent des informations sur les \u00e9v\u00e9nements \"rares\" ou peu fr\u00e9quents avant de s'effondrer compl\u00e8tement.\u00a0<\/span><\/p>\n

Cette situation est alarmante, car les \u00e9v\u00e9nements rares concernent souvent des groupes marginalis\u00e9s ou des valeurs aberrantes. Sans eux, les mod\u00e8les risquent de concentrer leurs r\u00e9ponses sur un spectre \u00e9troit d'id\u00e9es et de croyances, renfor\u00e7ant ainsi les pr\u00e9jug\u00e9s.<\/span><\/p>\n

Les entreprises sp\u00e9cialis\u00e9es dans l'IA en sont conscientes, c'est pourquoi elles concluent des accords avec des soci\u00e9t\u00e9s de presse et des \u00e9diteurs afin de s'assurer un flux r\u00e9gulier d'informations de haute qualit\u00e9, r\u00e9dig\u00e9es par des humains et pertinentes sur le plan th\u00e9matique.\u00a0<\/span><\/p>\n

\"Le message est que nous devons faire tr\u00e8s attention \u00e0 ce qui se retrouve dans nos donn\u00e9es de formation\". <\/span>\u00e9tude<\/span> Zakhar Shumaylov, de l'universit\u00e9 de Cambridge, co-auteur de l'\u00e9tude. <\/span>a d\u00e9clar\u00e9 \u00e0 Nature<\/span><\/a>. \"Sinon, les choses iront toujours mal, c'est prouv\u00e9.<\/span><\/p>\n

Pour aggraver cet effet, une r\u00e9cente <\/span>\u00e9tude<\/span><\/a> Richard Fletcher, directeur de recherche \u00e0 l'Institut Reuters pour l'\u00e9tude du journalisme, r\u00e9v\u00e8le que pr\u00e8s de la moiti\u00e9 (48%) des sites d'actualit\u00e9s les plus populaires dans le monde sont d\u00e9sormais inaccessibles aux robots d'OpenAI, les robots d'IA de Google \u00e9tant bloqu\u00e9s par 24% des sites.<\/span><\/p>\n

Par cons\u00e9quent, les mod\u00e8les d'IA ont acc\u00e8s \u00e0 un ensemble plus restreint de donn\u00e9es r\u00e9centes et de haute qualit\u00e9 qu'auparavant, ce qui augmente le risque de s'entra\u00eener sur des donn\u00e9es de qualit\u00e9 inf\u00e9rieure ou obsol\u00e8tes.\u00a0<\/span><\/p>\n

Solutions \u00e0 l'effondrement du mod\u00e8le<\/h2>\n

En ce qui concerne les solutions, les chercheurs affirment que le maintien de l'acc\u00e8s aux sources de donn\u00e9es originales, g\u00e9n\u00e9r\u00e9es par l'homme, est vital pour l'avenir de l'IA.\u00a0<\/span><\/p>\n

Le suivi et la gestion du contenu g\u00e9n\u00e9r\u00e9 par l'IA seraient \u00e9galement utiles pour \u00e9viter qu'il ne contamine accidentellement les ensembles de donn\u00e9es de formation. Ce serait tr\u00e8s d\u00e9licat, car le contenu g\u00e9n\u00e9r\u00e9 par l'IA devient impossible \u00e0 d\u00e9tecter.\u00a0<\/span><\/p>\n

Les chercheurs proposent quatre solutions principales :<\/span><\/p>\n