{"id":10342,"date":"2024-02-27T18:58:26","date_gmt":"2024-02-27T18:58:26","guid":{"rendered":"https:\/\/dailyai.com\/?p=10342"},"modified":"2024-03-28T00:37:55","modified_gmt":"2024-03-28T00:37:55","slug":"generative-ai-systems-hallucinations-and-mounting-technical-debt","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","title":{"rendered":"Syst\u00e8mes d'IA g\u00e9n\u00e9rative, hallucinations et dette technique croissante"},"content":{"rendered":"<p><strong>Alors que les syst\u00e8mes d'IA tels que les grands mod\u00e8les de langage (LLM) gagnent en taille et en complexit\u00e9, les chercheurs d\u00e9couvrent d'intrigantes limites fondamentales.\u00a0<\/strong><\/p>\n<p>Des \u00e9tudes r\u00e9centes men\u00e9es par Google et l'universit\u00e9 de Singapour ont mis au jour les m\u00e9canismes \u00e0 l'origine des \"hallucinations\" de l'IA - o\u00f9 les mod\u00e8les g\u00e9n\u00e8rent des informations convaincantes mais fabriqu\u00e9es - et de l'accumulation de la \"dette technique\", qui pourrait cr\u00e9er des syst\u00e8mes d\u00e9sordonn\u00e9s et peu fiables au fil du temps.<\/p>\n<p>Au-del\u00e0 des d\u00e9fis techniques, l'alignement des capacit\u00e9s et des incitations de l'IA sur les valeurs humaines reste une question ouverte.<\/p>\n<p>Alors que des entreprises comme OpenAI s'orientent vers l'intelligence artificielle g\u00e9n\u00e9rale (AGI), la s\u00e9curisation de la voie \u00e0 suivre passe par la reconnaissance des limites des syst\u00e8mes actuels.<\/p>\n<p><span style=\"font-weight: 400;\">Toutefois, la reconnaissance prudente des risques va \u00e0 l'encontre de la devise de la Silicon Valley, qui veut que l'on aille vite et que l'on casse les choses, ce qui caract\u00e9rise la R&amp;D en mati\u00e8re d'IA comme cela a \u00e9t\u00e9 le cas pour les innovations technologiques qui l'ont pr\u00e9c\u00e9d\u00e9e.\u00a0<\/span><\/p>\n<h2>\u00c9tude 1 : Les mod\u00e8les d'IA accumulent une \"dette technique\".<\/h2>\n<p><span style=\"font-weight: 400;\">L'apprentissage automatique est souvent pr\u00e9sent\u00e9 comme \u00e9volutif, les syst\u00e8mes offrant un cadre de d\u00e9veloppement modulaire et int\u00e9gr\u00e9.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Cependant, en arri\u00e8re-plan, les d\u00e9veloppeurs peuvent accumuler un niveau \u00e9lev\u00e9 de \"dette technique\" qu'ils devront r\u00e9soudre par la suite.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dans un <\/span><a href=\"https:\/\/storage.googleapis.com\/gweb-research2023-media\/pubtools\/pdf\/43146.pdf\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Document de recherche Google<\/span><\/a><span style=\"font-weight: 400;\">Dans le livre \"Machine Learning : The High-Interest Credit Card of Technical Debt\", les chercheurs discutent du concept de dette technique dans le contexte des syst\u00e8mes d'apprentissage automatique.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Le PDG de Kaggle et chercheur de longue date chez Google, D. Sculley, et ses coll\u00e8gues affirment que si la ML offre des outils puissants pour construire rapidement des syst\u00e8mes complexes, ces \"gains rapides\" sont souvent trompeurs.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">La simplicit\u00e9 et la rapidit\u00e9 de d\u00e9ploiement des mod\u00e8les de ML peuvent masquer les charges futures qu'ils imposent \u00e0 la maintenabilit\u00e9 et \u00e0 l'\u00e9volution des syst\u00e8mes. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Comme le d\u00e9crivent les auteurs, cette dette cach\u00e9e d\u00e9coule de plusieurs facteurs de risque sp\u00e9cifiques \u00e0 ML que les d\u00e9veloppeurs devraient \u00e9viter ou remanier.<\/span><\/p>\n<p>En voici les principaux enseignements :<\/p>\n<ul>\n<li><span style=\"font-weight: 400;\">Les syst\u00e8mes ML, de par leur nature, introduisent un niveau de complexit\u00e9 qui d\u00e9passe le simple codage. <\/span>Cela peut conduire \u00e0 ce que les auteurs appellent \"l'\u00e9rosion des fronti\u00e8res\", o\u00f9 les lignes claires entre les diff\u00e9rents composants du syst\u00e8me deviennent floues en raison des interd\u00e9pendances cr\u00e9\u00e9es par les mod\u00e8les de ML. Il est alors difficile d'isoler et de mettre en \u0153uvre des am\u00e9liorations sans affecter d'autres parties du syst\u00e8me.<\/li>\n<li>Le document met \u00e9galement en \u00e9vidence le probl\u00e8me de \"l'enchev\u00eatrement\", o\u00f9 les changements apport\u00e9s \u00e0 n'importe quelle partie d'un syst\u00e8me de ML, tels que les caract\u00e9ristiques d'entr\u00e9e ou les param\u00e8tres du mod\u00e8le, peuvent avoir des effets impr\u00e9visibles sur le reste du syst\u00e8me. La modification d'un petit param\u00e8tre peut d\u00e9clencher une cascade d'effets ayant une incidence sur la fonction et l'int\u00e9grit\u00e9 de l'ensemble du mod\u00e8le.<\/li>\n<li>Un autre probl\u00e8me est la cr\u00e9ation de \"boucles de r\u00e9troaction cach\u00e9es\", o\u00f9 les mod\u00e8les de ML influencent leurs propres donn\u00e9es d'apprentissage de mani\u00e8re impr\u00e9vue. Cela peut conduire \u00e0 des syst\u00e8mes qui \u00e9voluent dans des directions inattendues, ce qui complique encore la gestion et la compr\u00e9hension du comportement du syst\u00e8me.<\/li>\n<li>Les auteurs abordent \u00e9galement les \"d\u00e9pendances des donn\u00e9es\", par exemple lorsque les signaux d'entr\u00e9e changent au fil du temps, ce qui est particuli\u00e8rement probl\u00e9matique car ils sont plus difficiles \u00e0 d\u00e9tecter.<\/li>\n<\/ul>\n<h3>Pourquoi la dette technique est-elle importante ?<\/h3>\n<p><span style=\"font-weight: 400;\">La dette technique concerne la sant\u00e9 et l'efficacit\u00e9 \u00e0 long terme des syst\u00e8mes de ML. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Lorsque les d\u00e9veloppeurs s'empressent de mettre en place des syst\u00e8mes de ML et de les faire fonctionner, ils risquent d'ignorer les subtilit\u00e9s du traitement des donn\u00e9es ou les pi\u00e8ges du \"collage\" de diff\u00e9rentes parties. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Cela peut fonctionner \u00e0 court terme, mais peut conduire \u00e0 un enchev\u00eatrement difficile \u00e0 diss\u00e9quer, \u00e0 mettre \u00e0 jour ou m\u00eame \u00e0 comprendre par la suite.<\/span><\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">\u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f \u26a0\ufe0f<\/p>\n<p>GenAI est une avalanche de dette technique* en attente de se produire<\/p>\n<p>Cette semaine encore<br \/>\n\ud83d\udc49ChatGPT est devenu \"berserk\" sans r\u00e9elle explication.<br \/>\n\ud83d\udc49Sora ne peut pas d\u00e9duire syst\u00e9matiquement le nombre de pattes d'un chat.<br \/>\n\ud83d\udc49Gemini's diversity intervention went utterly off the rails.... <a href=\"https:\/\/t.co\/qzrVlpX9yz\">pic.twitter.com\/qzrVlpX9yz<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761414330577539340?ref_src=twsrc%5Etfw\">24 f\u00e9vrier 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<span style=\"font-weight: 400;\">Par exemple, l'utilisation de mod\u00e8les ML tels quels \u00e0 partir d'une biblioth\u00e8que semble efficace jusqu'\u00e0 ce que l'on se retrouve dans un cauchemar de \"code collant\", o\u00f9 la majeure partie du syst\u00e8me n'est que du ruban adh\u00e9sif qui maintient ensemble des \u00e9l\u00e9ments qui n'\u00e9taient pas cens\u00e9s s'embo\u00eeter.\u00a0<\/span><\/p>\n<p>Ou encore les \"jungles de l'ol\u00e9oduc\", d\u00e9crites dans un rapport de la Commission europ\u00e9enne. <a href=\"https:\/\/proceedings.neurips.cc\/paper_files\/paper\/2015\/file\/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf\" target=\"_blank\" rel=\"noopener\">article pr\u00e9c\u00e9dent par D. Sculley<\/a> et ses coll\u00e8gues, o\u00f9 la pr\u00e9paration des donn\u00e9es devient un labyrinthe de processus entrem\u00eal\u00e9s, de sorte qu'apporter un changement donne l'impression de d\u00e9samorcer une bombe.<\/p>\n<h3>Les implications de la dette technique<\/h3>\n<p><span style=\"font-weight: 400;\">Tout d'abord, plus un syst\u00e8me est enchev\u00eatr\u00e9, plus il est difficile de l'am\u00e9liorer ou de le maintenir. Non seulement cela \u00e9touffe l'innovation, mais cela peut aussi conduire \u00e0 des probl\u00e8mes plus sinistres.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Par exemple, si un syst\u00e8me de ML commence \u00e0 prendre des d\u00e9cisions bas\u00e9es sur des donn\u00e9es obsol\u00e8tes ou biais\u00e9es parce que leur mise \u00e0 jour est trop fastidieuse, il risque de renforcer ou d'affaiblir l'efficacit\u00e9 du syst\u00e8me. <\/span><a href=\"https:\/\/dailyai.com\/fr\/2023\/07\/unmasking-the-deep-seated-biases-in-ai-systems\/\"><span style=\"font-weight: 400;\">amplifier les pr\u00e9jug\u00e9s de la soci\u00e9t\u00e9<\/span><\/a><span style=\"font-weight: 400;\">.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">En outre, dans des applications critiques telles que <\/span><a href=\"https:\/\/dailyai.com\/fr\/2024\/02\/does-ai-display-racial-and-gender-bias-when-evaluating-images\/\"><span style=\"font-weight: 400;\">soins de sant\u00e9<\/span><\/a><span style=\"font-weight: 400;\"> ou les v\u00e9hicules autonomes, une telle dette technique pourrait avoir des cons\u00e9quences d\u00e9sastreuses, non seulement en termes de temps et d'argent, mais aussi en termes de bien-\u00eatre humain.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Comme l'indique l'\u00e9tude, \"toute dette n'est pas n\u00e9cessairement mauvaise, mais la dette technique a tendance \u00e0 s'accumuler. Le fait de reporter le travail pour le rembourser entra\u00eene une augmentation des co\u00fbts, une fragilit\u00e9 du syst\u00e8me et une r\u00e9duction des taux d'innovation.\"<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Elle rappelle \u00e9galement aux entreprises et aux consommateurs qu'ils doivent exiger la transparence et la responsabilit\u00e9 des technologies d'IA qu'ils adoptent. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Apr\u00e8s tout, l'objectif est d'exploiter la puissance de l'IA pour am\u00e9liorer la vie, et non de s'enliser dans un cycle sans fin de remboursement de la dette technique.<\/span><\/p>\n<h2>\u00c9tude 2 : Il est impossible de distinguer les hallucinations des LLM<\/h2>\n<p>Dans un autre domaine, mais <a href=\"https:\/\/arxiv.org\/pdf\/2401.11817.pdf\" target=\"_blank\" rel=\"noopener\">\u00e9tude connexe<\/a> de l'Universit\u00e9 nationale de Singapour, les chercheurs Ziwei Xu, Sanjay Jain et Mohan Kankanhalli ont \u00e9tudi\u00e9 les limites inh\u00e9rentes aux LLM.<\/p>\n<p><span style=\"font-weight: 400;\">\"L'hallucination est in\u00e9vitable : An Innate Limitation of Large Language Models\" explore la nature des hallucinations de l'IA, qui d\u00e9crivent les cas o\u00f9 les syst\u00e8mes d'IA g\u00e9n\u00e8rent des informations plausibles mais inexactes ou enti\u00e8rement fabriqu\u00e9es.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les ph\u00e9nom\u00e8nes d'hallucination constituent un d\u00e9fi technique majeur, car ils mettent en \u00e9vidence un \u00e9cart fondamental entre les r\u00e9sultats d'un mod\u00e8le d'IA et ce qui est consid\u00e9r\u00e9 comme la \"v\u00e9rit\u00e9 de terrain\", c'est-\u00e0-dire un mod\u00e8le id\u00e9al qui produit toujours des informations correctes et logiques.\u00a0<\/span><\/p>\n<p>Il est essentiel de comprendre comment et pourquoi l'IA g\u00e9n\u00e9rative hallucine, car cette technologie s'int\u00e8gre dans des secteurs critiques tels que la police et la justice, les soins de sant\u00e9 et le secteur juridique.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">Et si l'on pouvait *prouver* que les hallucinations sont in\u00e9vitables dans les LLM ?<\/p>\n<p>Cela changerait-il<br \/>\n- Comment voyez-vous les LLM ?<br \/>\n- Quel est le montant de l'investissement que vous feriez dans ces entreprises ?<br \/>\n- Dans quelle mesure donneriez-vous la priorit\u00e9 \u00e0 la recherche sur les alternatives ?<\/p>\n<p>Un nouveau document en fait la d\u00e9monstration : <a href=\"https:\/\/t.co\/r0eP3mFxQg\">https:\/\/t.co\/r0eP3mFxQg<\/a><br \/>\nh\/t... <a href=\"https:\/\/t.co\/Id2kdaCSGk\">pic.twitter.com\/Id2kdaCSGk<\/a><\/p>\n<p>- Gary Marcus @ AAAI 2024 (@GaryMarcus) <a href=\"https:\/\/twitter.com\/GaryMarcus\/status\/1761764524674457662?ref_src=twsrc%5Etfw\">25 f\u00e9vrier 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h3>Fondements th\u00e9oriques des hallucinations<\/h3>\n<p><span style=\"font-weight: 400;\">L'\u00e9tude commence par \u00e9tablir un cadre th\u00e9orique pour comprendre les hallucinations chez les MFR.\u00a0<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les chercheurs c<\/span><span style=\"font-weight: 400;\">Les chercheurs ont cr\u00e9\u00e9 un mod\u00e8le th\u00e9orique appel\u00e9 \"monde formel\". Cet environnement simplifi\u00e9 et contr\u00f4l\u00e9 leur a permis d'observer les conditions dans lesquelles les mod\u00e8les d'IA ne parviennent pas \u00e0 s'aligner sur la r\u00e9alit\u00e9 du terrain.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ils ont ensuite test\u00e9 deux grandes familles de LLM :<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Lama 2<\/b><span style=\"font-weight: 400;\">: Plus pr\u00e9cis\u00e9ment, la version 70 milliards de param\u00e8tres (llama2-70b-chat-hf) accessible sur HuggingFace a \u00e9t\u00e9 utilis\u00e9e. Ce mod\u00e8le repr\u00e9sente l'une des nouvelles entr\u00e9es dans l'ar\u00e8ne des grands mod\u00e8les de langage, con\u00e7u pour un large \u00e9ventail de t\u00e2ches de g\u00e9n\u00e9ration et de compr\u00e9hension de textes.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Transformateurs g\u00e9n\u00e9ratifs pr\u00e9form\u00e9s (GPT)<\/b><span style=\"font-weight: 400;\">: L'\u00e9tude comprenait des tests sur GPT-3.5, en particulier le mod\u00e8le gpt-3.5-turbo-16k de 175 milliards de param\u00e8tres, et GPT-4 (gpt-4-0613), dont le nombre exact de param\u00e8tres n'a pas \u00e9t\u00e9 divulgu\u00e9.\u00a0<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Les LLM ont \u00e9t\u00e9 invit\u00e9s \u00e0 \u00e9num\u00e9rer des cha\u00eenes de caract\u00e8res d'une longueur donn\u00e9e \u00e0 l'aide d'un alphabet sp\u00e9cifique, une t\u00e2che informatique apparemment simple.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Plus pr\u00e9cis\u00e9ment, les mod\u00e8les ont \u00e9t\u00e9 charg\u00e9s de g\u00e9n\u00e9rer toutes les cha\u00eenes possibles de longueurs variant de 1 \u00e0 7, en utilisant des alphabets de deux caract\u00e8res (par exemple, {a, b}) et de trois caract\u00e8res (par exemple, {a, b, c}).<\/span><\/p>\n<p><span style=\"font-weight: 400;\"> Les r\u00e9sultats ont \u00e9t\u00e9 \u00e9valu\u00e9s en fonction du fait qu'ils contenaient toutes et seulement les cha\u00eenes de la longueur sp\u00e9cifi\u00e9e de l'alphabet donn\u00e9.<\/span><\/p>\n<h3>R\u00e9sultats<\/h3>\n<p><span style=\"font-weight: 400;\">Les r\u00e9sultats ont montr\u00e9 une nette limitation des capacit\u00e9s des mod\u00e8les \u00e0 accomplir correctement la t\u00e2che \u00e0 mesure que la complexit\u00e9 augmentait (c'est-\u00e0-dire \u00e0 mesure que la longueur de la cha\u00eene ou la taille de l'alphabet augmentait). Plus pr\u00e9cis\u00e9ment :<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Les mod\u00e8les ont donn\u00e9 des r\u00e9sultats satisfaisants pour les cha\u00eenes de caract\u00e8res plus courtes et les alphabets plus petits, mais ils ont faibli lorsque la complexit\u00e9 de la t\u00e2che a augment\u00e9.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Notamment, m\u00eame le mod\u00e8le avanc\u00e9 GPT-4, le LLM le plus sophistiqu\u00e9 disponible \u00e0 l'heure actuelle, n'a pas pu r\u00e9pertorier avec succ\u00e8s toutes les cha\u00eenes au-del\u00e0 de certaines longueurs.<\/span><\/li>\n<\/ul>\n<p>Cela montre que les hallucinations ne sont pas un simple probl\u00e8me qui peut \u00eatre corrig\u00e9, mais un aspect fondamental de la fa\u00e7on dont ces mod\u00e8les comprennent et reproduisent le langage humain.<\/p>\n<p>Comme le d\u00e9crit l'\u00e9tude, <span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\">Les \"LLM\" ne peuvent pas apprendre tout ce qu'il y a \u00e0 apprendre. <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">de<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> les fonctions calculables et aura donc toujours des hallucinations. Puisque le monde formel <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">est<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> une partie <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">de<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> le monde r\u00e9el qui <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">est<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> beaucoup plus compliqu\u00e9es, les hallucinations sont \u00e9galement <\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3 r-b88u0q\">in\u00e9vitable<\/span><span class=\"css-1qaijid r-bcqeeo r-qvutc0 r-poiln3\"> pour le monde r\u00e9el du LLM\".<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les implications pour les applications \u00e0 fort enjeu sont vastes. Dans des secteurs tels que la sant\u00e9, la finance ou le droit, o\u00f9 l'exactitude des informations peut avoir de graves cons\u00e9quences, se fier \u00e0 un LLM sans dispositif de s\u00e9curit\u00e9 pour filtrer ces hallucinations pourrait conduire \u00e0 de graves erreurs.<\/span><\/p>\n<p>Cette \u00e9tude a attir\u00e9 l'attention de Gary Marcus, expert en IA, et de Steven Pinker, \u00e9minent psychologue cognitif.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">L'hallucination est in\u00e9vitable avec les grands mod\u00e8les de langage en raison de leur conception : pas de repr\u00e9sentation de faits ou de choses, juste des corr\u00e9lations statistiques. Nouvelle preuve d'une \"limitation inn\u00e9e\" des LLM. <a href=\"https:\/\/t.co\/Hl1kqxJGXt\">https:\/\/t.co\/Hl1kqxJGXt<\/a><\/p>\n<p>- Steven Pinker (@sapinker) <a href=\"https:\/\/twitter.com\/sapinker\/status\/1761801185181200410?ref_src=twsrc%5Etfw\">25 f\u00e9vrier 2024<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h2>Des questions plus profondes sont en jeu<\/h2>\n<p><span style=\"font-weight: 400;\">L'accumulation de la dette technique et l'in\u00e9vitabilit\u00e9 des hallucinations dans les LLM sont symptomatiques d'un probl\u00e8me plus profond - le paradigme actuel du d\u00e9veloppement de l'IA peut \u00eatre intrins\u00e8quement mal align\u00e9 pour cr\u00e9er des syst\u00e8mes hautement intelligents et align\u00e9s de mani\u00e8re fiable sur les valeurs humaines et la v\u00e9rit\u00e9 factuelle.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dans les domaines sensibles, il ne suffit pas d'avoir un syst\u00e8me d'IA qui soit juste la plupart du temps. La dette technique et les hallucinations menacent toutes deux l'int\u00e9grit\u00e9 du mod\u00e8le au fil du temps.\u00a0<\/span><\/p>\n<p>Il ne s'agit pas seulement d'un d\u00e9fi technique, mais d'un d\u00e9fi pluridisciplinaire, qui n\u00e9cessite une contribution en mati\u00e8re d'\u00e9thique de l'IA, de politique et d'expertise sp\u00e9cifique \u00e0 un domaine, afin de naviguer en toute s\u00e9curit\u00e9.<\/p>\n<p>\u00c0 l'heure actuelle, cela semble aller \u00e0 l'encontre des principes d'une industrie qui vit selon la devise \"aller vite et casser les choses\".<\/p>\n<p>Esp\u00e9rons que les humains ne soient pas les \"choses\".<\/p>","protected":false},"excerpt":{"rendered":"<p>Alors que les syst\u00e8mes d'IA tels que les grands mod\u00e8les de langage (LLM) gagnent en taille et en complexit\u00e9, les chercheurs d\u00e9couvrent d'intrigantes limites fondamentales.  Des \u00e9tudes r\u00e9centes men\u00e9es par Google et l'universit\u00e9 de Singapour ont mis au jour les m\u00e9canismes \u00e0 l'origine des \"hallucinations\" de l'IA - lorsque les mod\u00e8les g\u00e9n\u00e8rent des informations convaincantes mais fabriqu\u00e9es - et l'accumulation de la \"dette technique\", qui pourrait cr\u00e9er des syst\u00e8mes d\u00e9sordonn\u00e9s et peu fiables au fil du temps. Au-del\u00e0 des d\u00e9fis techniques, l'alignement des capacit\u00e9s et des incitations de l'IA sur les valeurs humaines reste une question ouverte. Alors que des entreprises comme OpenAI s'orientent vers l'intelligence artificielle g\u00e9n\u00e9rale (AGI), s\u00e9curiser la voie \u00e0 suivre signifie reconna\u00eetre les limites des syst\u00e8mes actuels. Cependant, reconna\u00eetre soigneusement les risques est<\/p>","protected":false},"author":2,"featured_media":10364,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[84],"tags":[480,118],"class_list":["post-10342","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-industry","tag-hallucinations","tag-llms"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Generative AI systems, hallucinations, and mounting technical debt | DailyAI<\/title>\n<meta name=\"description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/dailyai.com\/fr\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\" \/>\n<meta property=\"og:description\" content=\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\" \/>\n<meta property=\"og:url\" content=\"https:\/\/dailyai.com\/fr\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/\" \/>\n<meta property=\"og:site_name\" content=\"DailyAI\" \/>\n<meta property=\"article:published_time\" content=\"2024-02-27T18:58:26+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-03-28T00:37:55+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1000\" \/>\n\t<meta property=\"og:image:height\" content=\"667\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Sam Jeans\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:site\" content=\"@DailyAIOfficial\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sam Jeans\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"7 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"NewsArticle\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"author\":{\"name\":\"Sam Jeans\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\"},\"headline\":\"Generative AI systems, hallucinations, and mounting technical debt\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"},\"wordCount\":1569,\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"keywords\":[\"Hallucinations\",\"LLMS\"],\"articleSection\":{\"1\":\"Industry\"},\"inLanguage\":\"fr-FR\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\",\"name\":\"Generative AI systems, hallucinations, and mounting technical debt | DailyAI\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"datePublished\":\"2024-02-27T18:58:26+00:00\",\"dateModified\":\"2024-03-28T00:37:55+00:00\",\"description\":\"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/shutterstock_2146674289.jpg\",\"width\":1000,\"height\":667,\"caption\":\"technical debt AI\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/2024\\\/02\\\/generative-ai-systems-hallucinations-and-mounting-technical-debt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/dailyai.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Generative AI systems, hallucinations, and mounting technical debt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#website\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"name\":\"DailyAI\",\"description\":\"Your Daily Dose of AI News\",\"publisher\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/dailyai.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#organization\",\"name\":\"DailyAI\",\"url\":\"https:\\\/\\\/dailyai.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"contentUrl\":\"https:\\\/\\\/dailyai.com\\\/wp-content\\\/uploads\\\/2023\\\/06\\\/Daily-Ai_TL_colour.png\",\"width\":4501,\"height\":934,\"caption\":\"DailyAI\"},\"image\":{\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/x.com\\\/DailyAIOfficial\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/dailyaiofficial\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@DailyAIOfficial\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/dailyai.com\\\/#\\\/schema\\\/person\\\/711e81f945549438e8bbc579efdeb3c9\",\"name\":\"Sam Jeans\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g\",\"caption\":\"Sam Jeans\"},\"description\":\"Sam is a science and technology writer who has worked in various AI startups. When he\u2019s not writing, he can be found reading medical journals or digging through boxes of vinyl records.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/sam-jeans-6746b9142\\\/\"],\"url\":\"https:\\\/\\\/dailyai.com\\\/fr\\\/author\\\/samjeans\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Syst\u00e8mes d'IA g\u00e9n\u00e9rative, hallucinations et dette technique croissante | DailyAI","description":"Alors que les syst\u00e8mes d'IA tels que les grands mod\u00e8les de langage (LLM) gagnent en taille et en complexit\u00e9, les chercheurs d\u00e9couvrent d'intrigantes limites fondamentales.\u00a0","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/dailyai.com\/fr\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_locale":"fr_FR","og_type":"article","og_title":"Generative AI systems, hallucinations, and mounting technical debt | DailyAI","og_description":"As AI systems like large language models (LLMs) grow in size and complexity, researchers are uncovering intriguing fundamental limitations.\u00a0","og_url":"https:\/\/dailyai.com\/fr\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","og_site_name":"DailyAI","article_published_time":"2024-02-27T18:58:26+00:00","article_modified_time":"2024-03-28T00:37:55+00:00","og_image":[{"width":1000,"height":667,"url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","type":"image\/jpeg"}],"author":"Sam Jeans","twitter_card":"summary_large_image","twitter_creator":"@DailyAIOfficial","twitter_site":"@DailyAIOfficial","twitter_misc":{"\u00c9crit par":"Sam Jeans","Dur\u00e9e de lecture estim\u00e9e":"7 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"NewsArticle","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#article","isPartOf":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"author":{"name":"Sam Jeans","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9"},"headline":"Generative AI systems, hallucinations, and mounting technical debt","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","mainEntityOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"},"wordCount":1569,"publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","keywords":["Hallucinations","LLMS"],"articleSection":{"1":"Industry"},"inLanguage":"fr-FR"},{"@type":"WebPage","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","url":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/","name":"Syst\u00e8mes d'IA g\u00e9n\u00e9rative, hallucinations et dette technique croissante | DailyAI","isPartOf":{"@id":"https:\/\/dailyai.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"image":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage"},"thumbnailUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","datePublished":"2024-02-27T18:58:26+00:00","dateModified":"2024-03-28T00:37:55+00:00","description":"Alors que les syst\u00e8mes d'IA tels que les grands mod\u00e8les de langage (LLM) gagnent en taille et en complexit\u00e9, les chercheurs d\u00e9couvrent d'intrigantes limites fondamentales.\u00a0","breadcrumb":{"@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#primaryimage","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2024\/02\/shutterstock_2146674289.jpg","width":1000,"height":667,"caption":"technical debt AI"},{"@type":"BreadcrumbList","@id":"https:\/\/dailyai.com\/2024\/02\/generative-ai-systems-hallucinations-and-mounting-technical-debt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/dailyai.com\/"},{"@type":"ListItem","position":2,"name":"Generative AI systems, hallucinations, and mounting technical debt"}]},{"@type":"WebSite","@id":"https:\/\/dailyai.com\/#website","url":"https:\/\/dailyai.com\/","name":"DailyAI","description":"Votre dose quotidienne de nouvelles sur l'IA","publisher":{"@id":"https:\/\/dailyai.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/dailyai.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"},{"@type":"Organization","@id":"https:\/\/dailyai.com\/#organization","name":"DailyAI","url":"https:\/\/dailyai.com\/","logo":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/","url":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","contentUrl":"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/Daily-Ai_TL_colour.png","width":4501,"height":934,"caption":"DailyAI"},"image":{"@id":"https:\/\/dailyai.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/x.com\/DailyAIOfficial","https:\/\/www.linkedin.com\/company\/dailyaiofficial\/","https:\/\/www.youtube.com\/@DailyAIOfficial"]},{"@type":"Person","@id":"https:\/\/dailyai.com\/#\/schema\/person\/711e81f945549438e8bbc579efdeb3c9","name":"Sam Jeans","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/a24a4a8f8e2a1a275b7491dc9c9f032c401eabf23c3206da4628dc84b6dac5c8?s=96&d=robohash&r=g","caption":"Sam Jeans"},"description":"Sam est un r\u00e9dacteur scientifique et technologique qui a travaill\u00e9 dans diverses start-ups sp\u00e9cialis\u00e9es dans l'IA. Lorsqu'il n'\u00e9crit pas, on peut le trouver en train de lire des revues m\u00e9dicales ou de fouiller dans des bo\u00eetes de disques vinyles.","sameAs":["https:\/\/www.linkedin.com\/in\/sam-jeans-6746b9142\/"],"url":"https:\/\/dailyai.com\/fr\/author\/samjeans\/"}]}},"_links":{"self":[{"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/posts\/10342","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/comments?post=10342"}],"version-history":[{"count":11,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/posts\/10342\/revisions"}],"predecessor-version":[{"id":10427,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/posts\/10342\/revisions\/10427"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/media\/10364"}],"wp:attachment":[{"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/media?parent=10342"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/categories?post=10342"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dailyai.com\/fr\/wp-json\/wp\/v2\/tags?post=10342"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}