En voici quelques extraits :<\/span><\/p>\n \"Nous avons beaucoup regard\u00e9 par-dessus nos \u00e9paules \u00e0 l'OpenAI. Qui franchira la prochaine \u00e9tape ? Quelle sera la prochaine \u00e9tape ?<\/span><\/p>\n Mais la v\u00e9rit\u00e9 est que nous ne sommes pas en mesure de gagner cette course \u00e0 l'armement, pas plus que l'OpenAI. Pendant que nous nous chamaillions, une troisi\u00e8me faction a tranquillement mang\u00e9 notre d\u00e9jeuner. Je parle, bien s\u00fbr, de l'open source.<\/span><\/p>\n En clair, ils nous d\u00e9passent. Les choses que nous consid\u00e9rons comme des \"probl\u00e8mes majeurs ouverts\" sont r\u00e9solues et se trouvent aujourd'hui entre les mains des gens. Si nos mod\u00e8les conservent un l\u00e9ger avantage en termes de qualit\u00e9, l'\u00e9cart se r\u00e9duit \u00e9tonnamment vite.<\/span><\/p>\n Les mod\u00e8les open-source sont plus rapides, plus personnalisables, plus priv\u00e9s et plus performants. Ils font des choses avec des param\u00e8tres $100 et 13B que nous avons du mal \u00e0 faire avec des param\u00e8tres $10M et 540B. Et ils y parviennent en quelques semaines, pas en quelques mois.<\/span><\/p>\n Au d\u00e9but du mois de mars, la communaut\u00e9 open source a mis la main sur son premier mod\u00e8le de fondation r\u00e9ellement capable, le LLaMA de Meta ayant fait l'objet d'une fuite publique.<\/span><\/p>\n Il n'y avait ni instruction, ni accord de conversation, ni RLHF. N\u00e9anmoins, la communaut\u00e9 a imm\u00e9diatement compris l'importance de ce qu'elle avait re\u00e7u. Un formidable \u00e9lan d'innovation s'en est suivi, \u00e0 quelques jours d'intervalle...<\/span><\/p>\n Nous voici, \u00e0 peine un mois plus tard, avec des variantes concernant le r\u00e9glage des instructions, la quantification, l'am\u00e9lioration de la qualit\u00e9, les \u00e9valuations humaines, la multimodalit\u00e9, la RLHF, etc. Plus important encore, ils ont r\u00e9solu le probl\u00e8me de la mise \u00e0 l'\u00e9chelle au point que n'importe qui peut bricoler.<\/span><\/p>\n Bon nombre des nouvelles id\u00e9es proviennent de personnes ordinaires. La barri\u00e8re \u00e0 l'entr\u00e9e pour la formation et l'exp\u00e9rimentation est pass\u00e9e de la production totale d'un grand organisme de recherche \u00e0 une personne, une soir\u00e9e et un ordinateur portable puissant\".<\/span><\/p>\n Le m\u00e9mo de M. Sernau a \u00e9t\u00e9 repris par les principaux organes de presse et a suscit\u00e9 un d\u00e9bat sur la question de savoir si les pressions exerc\u00e9es par les grandes entreprises technologiques en faveur d'une r\u00e9glementation masquent une volont\u00e9 de forcer l'IA libre \u00e0 se retirer du jeu. <\/span>Ben Schrekcinger de Politico \u00e9crit<\/span><\/a>Le code open-source est \u00e9galement plus difficile \u00e0 interdire puisque de nouvelles instances peuvent appara\u00eetre si les r\u00e9gulateurs tentent de fermer un site web ou un outil qui l'utilise. Combin\u00e9s \u00e0 d'autres caract\u00e9ristiques de d\u00e9centralisation, ces projets open-source ont le potentiel de perturber non seulement le mod\u00e8le commercial de la Silicon Valley, mais aussi les mod\u00e8les de gouvernance de Washington et de Bruxelles\".<\/span><\/p>\n La communaut\u00e9 de l'IA \u00e0 code source ouvert est d\u00e9j\u00e0 florissante. Les d\u00e9veloppeurs r\u00e9solvent en quelques jours des probl\u00e8mes qui prennent des mois ou des ann\u00e9es \u00e0 Google et \u00e0 OpenAI. M. Sernau affirme que les communaut\u00e9s agiles de d\u00e9veloppeurs de logiciels libres sont mieux \u00e9quip\u00e9es pour construire des mod\u00e8les it\u00e9ratifs que les grandes entreprises technologiques, car elles sont plus diversifi\u00e9es, plus efficaces et plus pragmatiques.<\/p>\n Si tel est le cas, la domination des grandes entreprises technologiques sur l'IA pourrait \u00eatre \u00e9ph\u00e9m\u00e8re.<\/p>\n Le mod\u00e8le LLaMA de Meta, un grand mod\u00e8le de langage (LLM) comme ChatGPT, a \u00e9t\u00e9 utilis\u00e9 dans le cadre d'un projet de recherche. fuite sur 4chan<\/a> une semaine apr\u00e8s que l'entreprise a envoy\u00e9 des demandes d'acc\u00e8s. <\/span>Le 3 mars, un torrent t\u00e9l\u00e9chargeable est apparu sur le forum de messagerie et s'est r\u00e9pandu comme une tra\u00een\u00e9e de poudre.<\/span><\/p>\n Comme l'indique M. Sernau, la communaut\u00e9 des logiciels libres a entrepris de modifier LLaMA, ajoutant des fonctionnalit\u00e9s impressionnantes sans les ressources informatiques de l'entreprise.\u00a0<\/span><\/p>\n La construction de mod\u00e8les d'IA puissants est moins ch\u00e8re que jamais, et les communaut\u00e9s open-source font pression pour d\u00e9mocratiser l'acc\u00e8s \u00e0 ces mod\u00e8les. Alors que LLaMA est un mod\u00e8le largement pr\u00e9-entra\u00een\u00e9, d'autres mod\u00e8les open-source, comme BLOOM, ont \u00e9t\u00e9 entra\u00een\u00e9s par des volontaires. <\/span><\/p>\n La formation de BLOOM a n\u00e9cessit\u00e9 un superordinateur \u00e9quip\u00e9 de 384 GPU NVIDIA A100 de 80 Go, qui a heureusement \u00e9t\u00e9 offert par le gouvernement fran\u00e7ais. La soci\u00e9t\u00e9 d'IA open-source Together a r\u00e9cemment annonc\u00e9 un financement d'amor\u00e7age de $20m, et les fournisseurs de cloud ax\u00e9s sur l'IA tels que CoreWeave<\/a> offrir du mat\u00e9riel \u00e0 des prix inf\u00e9rieurs \u00e0 ceux du march\u00e9. <\/span><\/p>\n Les projets \u00e0 code source ouvert disposent de divers moyens pour concentrer les ressources et devancer les grandes entreprises technologiques.\u00a0<\/span>Les grandes entreprises technologiques aimeraient sans doute nous faire croire que leurs IA sont le fruit de d\u00e9cennies de travail et de milliards de dollars d'investissement. -<\/span> la communaut\u00e9 des logiciels libres n'est probablement pas d'accord.<\/p>\n En ce qui concerne la s\u00e9paration entre les grandes entreprises technologiques et les petits projets d'IA, lors d'un \u00e9v\u00e9nement en Inde, Rajan Anandan, ancien cadre de Google, a demand\u00e9 \u00e0 Sam Altman, PDG d'OpenAI, si les ing\u00e9nieurs indiens pouvaient construire des mod\u00e8les d'IA fondamentaux avec un investissement de $10 millions d'euros.<\/span><\/p>\n M. Altman a r\u00e9pondu : \"Il est totalement inutile de nous concurrencer en mati\u00e8re de formation des mod\u00e8les de base. Vous ne devriez pas essayer, et c'est votre travail d'aimer essayer de toute fa\u00e7on. Et je crois \u00e0 ces deux choses. Je pense que c'est vraiment sans espoir\".<\/span><\/p>\n Toutefois, dans son m\u00e9mo, M. Sernau indique que les logiciels libres sont d\u00e9j\u00e0 en concurrence avec les grandes entreprises technologiques. Il d\u00e9clare : \"Il est encore plus difficile de conserver un avantage concurrentiel dans le domaine de la technologie maintenant que la recherche de pointe dans le cadre des LLM est abordable. Les institutions de recherche du monde entier s'appuient sur les travaux des autres, explorant l'espace des solutions d'une mani\u00e8re qui d\u00e9passe de loin nos propres capacit\u00e9s\".<\/span><\/p>\n Les d\u00e9veloppeurs de logiciels libres cr\u00e9ent des alternatives aux IA des grandes entreprises et les d\u00e9passent en termes de performances et de statistiques d'utilisation. <\/span><\/p>\n Par exemple, le logiciel libre Stable Diffusion est devenu plus populaire que DALL-E d'OpenAI quelques mois apr\u00e8s son lancement.\u00a0<\/span><\/p>\n Dans quelle mesure pouvons-nous faire la part des choses en ce qui concerne les arri\u00e8re-pens\u00e9es potentielles ? La pression r\u00e9glementaire des grandes entreprises technologiques a-t-elle un quelconque m\u00e9rite altruiste ?<\/span><\/p>\n Outre LLaMA, il existe au moins trois exemples majeurs de projets d'IA \u00e0 source ouverte :<\/span> Il convient de noter que si certains de ces d\u00e9veloppeurs (par exemple, Stable Diffusion) proposent leurs mod\u00e8les via des tableaux de bord intuitifs et faciles \u00e0 utiliser, d'autres, comme BLOOM, n\u00e9cessitent des ressources importantes pour fonctionner. Pour commencer, vous avez besoin d'environ 360 Go de RAM pour faire fonctionner BLOOM, mais il existe de nombreuses astuces astucieuses pour r\u00e9duire les besoins en ressources.\u00a0<\/span><\/p>\n \u00c0 mesure que le prix du mat\u00e9riel compatible avec l'IA diminue et que les mod\u00e8les open-source deviennent plus simples \u00e0 d\u00e9ployer, il est tout \u00e0 fait possible que pratiquement n'importe qui puisse d\u00e9ployer des mod\u00e8les similaires \u00e0 ChatGPT. La fuite du m\u00e9mo de Google cite des exemples de personnes ayant mis au point et d\u00e9ploy\u00e9 LLaMA sur des appareils grand public, y compris un MacBook.\u00a0<\/span><\/p>\n Pour les entreprises disposant de ressources informatiques importantes, <\/span>les mod\u00e8les \u00e0 source ouverte permettent de r\u00e9aliser des \u00e9conomies et d'assurer la souverainet\u00e9 des donn\u00e9es et le contr\u00f4le de la formation et de l'optimisation.\u00a0<\/span><\/p>\n Cependant, tout le monde n'est pas optimiste quant \u00e0 l'impact d'une IA puissante en libre acc\u00e8s. Par exemple, Jeffrey Ladis, chercheur en cybers\u00e9curit\u00e9, a tweet\u00e9 : \"Pr\u00e9parez-vous \u00e0 des tas de spams et de tentatives d'hame\u00e7onnage personnalis\u00e9s\" et \"L'ouverture de ces mod\u00e8les \u00e9tait une tr\u00e8s mauvaise id\u00e9e\".<\/span><\/p>\n La prolif\u00e9ration de l'IA nous rend tous moins s\u00fbrs. Cela semble \u00eatre une bonne chose \u00e0 pr\u00e9venir, mais aussi un d\u00e9fi assez difficile \u00e0 relever !<\/p>\n Je ne serais pas surpris qu'un acteur \u00e9tatique parvienne \u00e0 mettre la main sur les mod\u00e8les de fronti\u00e8re de l'OpenAI au cours de l'ann\u00e9e ou des deux ann\u00e9es \u00e0 venir. https:\/\/t.co\/PUEWvfUFqk<\/a><\/p>\n - Jeffrey Ladish (@JeffLadish) 10 mai 2023<\/a><\/p><\/blockquote>\n Un autre observateur a tweet\u00e9 : \"L'open source est une menace, mais pas de la mani\u00e8re dont vous le pensez. C'est une menace parce que l'IA entre les mains de personnes qui peuvent l'utiliser \u00e0 leurs propres fins devient encore plus difficile \u00e0 r\u00e9glementer ou \u00e0 suivre, et c'est un probl\u00e8me plus important.\"\u00a0<\/span><\/p>\n Google et OpenAI pr\u00e9tendent qu'ils ont peur de l'IA open source, qu'il n'y a \"pas de foss\u00e9\" entre eux. Mais ce n'est pas vraiment vrai.<\/p>\n L'open source est une menace, mais pas comme vous le pensez. C'est une menace parce que l'IA entre les mains de personnes qui peuvent l'utiliser \u00e0 leurs propres fins devient encore plus difficile \u00e0... pic.twitter.com\/g6kMh3TshY<\/a><\/p>\n - Theo (@tprstly) 5 mai 2023<\/a><\/p><\/blockquote>\n Yann LeCun, souvent consid\u00e9r\u00e9 comme un \"parrain de l'IA\" aux c\u00f4t\u00e9s de Geoffrey Hinton et Yoshio Bengman, <\/span>affirme le contraire<\/span><\/a>Une fois que les LLM seront devenus le principal canal d'acc\u00e8s \u00e0 l'information, les gens (et les gouvernements) *exigeront* qu'ils soient ouverts et transparents. L'infrastructure de base doit \u00eatre ouverte.\u00a0<\/span><\/p>\n M. LeCun s'est \u00e9galement inscrit en faux contre les id\u00e9es re\u00e7ues sur les risques li\u00e9s \u00e0 l'IA : \"Je pense que l'ampleur du probl\u00e8me de l'alignement de l'IA a \u00e9t\u00e9 ridiculement exag\u00e9r\u00e9e et que notre capacit\u00e9 \u00e0 le r\u00e9soudre a \u00e9t\u00e9 largement sous-estim\u00e9e\". Elon Musk a r\u00e9pliqu\u00e9 sur Twitter : \"Vous pensez vraiment que l'IA est une \u00e9p\u00e9e \u00e0 un seul tranchant ?\".\u00a0<\/span><\/p>\n Vous pensez vraiment que l'IA est une \u00e9p\u00e9e \u00e0 un seul tranchant ?<\/p>\n - Elon Musk (@elonmusk) 1er avril 2023<\/a><\/p><\/blockquote>\n D'autres commentateurs ont \u00e9tabli un parall\u00e8le entre la r\u00e9glementation de l'IA et la cryptographie, o\u00f9 le gouvernement am\u00e9ricain a tent\u00e9 d'interdire les m\u00e9thodes de cryptographie publique par <\/span>les classer comme \"munitions\"<\/span><\/a> - <\/b>surnomm\u00e9e la \"guerre des cryptomonnaies\".\u00a0<\/span><\/p>\n Aujourd'hui, pratiquement tout le monde a le droit d'utiliser le cryptage, mais cette bataille a \u00e9t\u00e9 durement gagn\u00e9e, comme cela pourrait \u00eatre le cas avec l'IA \u00e0 code source ouvert.<\/span><\/p>\n L'open source est plus qu'un simple logiciel, un code ou une technologie. C'est le principe, l'\u00e9tat d'esprit ou la conviction qu'un environnement de travail coop\u00e9ratif, ouvert et transparent l'emporte sur la concurrence dans un march\u00e9 ferm\u00e9.<\/span><\/p>\n OpenAI, qui \u00e9tait autrefois une entreprise \u00e0 but non lucratif ax\u00e9e sur la coop\u00e9ration publique et le d\u00e9veloppement de logiciels libres, s'est progressivement \u00e9loign\u00e9e de son nom.<\/span><\/p>\n La startup est devenue une entreprise \u00e0 but lucratif en 2019, mettant ainsi fin \u00e0 sa relation avec la communaut\u00e9 open-source.\u00a0<\/span>L'investissement de Microsoft a d\u00e9sengag\u00e9 OpenAI de toute activit\u00e9 de R&D \"ouverte\". <\/span><\/p>\n \u00c0 la mi-mai, l'entreprise a annonc\u00e9 un <\/span>mod\u00e8le open-source en pr\u00e9paration<\/span><\/a>mais ils n'ont pas \u00e9t\u00e9 tr\u00e8s clairs sur les d\u00e9tails.\u00a0<\/span><\/p>\n Aujourd'hui, l'OpenAI fait pression en faveur d'une r\u00e9glementation qui frapperait le plus durement les entreprises \u00e9mergentes dans le domaine de l'IA, sans parler de la criminalisation potentielle de la communaut\u00e9 des logiciels libres.\u00a0<\/span><\/p>\n Cela a conduit certains \u00e0 critiquer les pressions exerc\u00e9es par l'OpenAI en faveur d'une r\u00e9glementation, estimant qu'il ne s'agit que d'affaires - des affaires visant \u00e0 prot\u00e9ger leurs mod\u00e8les rentables contre les communaut\u00e9s \u00e0 code source ouvert qui cherchent \u00e0 d\u00e9mocratiser l'IA.\u00a0<\/span><\/p>\n La combinaison de la fuite du m\u00e9mo de Google, de la pression exerc\u00e9e par les grandes entreprises technologiques en faveur d'une r\u00e9glementation et du d\u00e9nigrement par M. Altman des projets d'IA de base a de quoi faire froncer les sourcils. En effet, la l\u00e9gitimit\u00e9 des risques li\u00e9s \u00e0 l'IA - qui justifient une r\u00e9glementation - a \u00e9t\u00e9 remise en question.\u00a0\u00a0<\/span><\/p>\n Par exemple, lorsque le Center for AI Safety (CAIS) a publi\u00e9 sa d\u00e9claration sismique sur les risques li\u00e9s \u00e0 l'IA, cosign\u00e9e par de nombreux PDG de l'IA, certains observateurs externes n'ont pas \u00e9t\u00e9 convaincus.<\/span><\/p>\nLa fuite du Meta LLaMA<\/span><\/h2>\n
![\"\"](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/shutterstock_2297594185.jpg\")
![\"Diffusion](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/06\/stable-1024x576.png\")
La communaut\u00e9 de l'IA \u00e0 code source ouvert<\/span><\/h2>\n
\n<\/span><\/p>\n\n
\n
\n
\n
L'ali\u00e9nation de l'IA open-source par l'OpenAI<\/span><\/h2>\n
L'IA \u00e0 code source ouvert repr\u00e9sente-t-elle un risque pour les grandes entreprises technologiques ?<\/span><\/h2>\n