{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/fr\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"Le chatbot personnalis\u00e9 de NVIDIA fonctionne localement sur les PC RTX AI"},"content":{"rendered":"

NVIDIA a publi\u00e9 Chat with RTX, une d\u00e9mo technique montrant comment les chatbots IA peuvent \u00eatre ex\u00e9cut\u00e9s localement sur les PC Windows \u00e0 l'aide de ses GPU RTX.<\/strong><\/p>\n

L'approche standard de l'utilisation d'un chatbot d'IA consiste \u00e0 utiliser une plateforme web telle que ChatGPT ou \u00e0 ex\u00e9cuter des requ\u00eates via une API, l'inf\u00e9rence se faisant sur des serveurs informatiques en nuage. Les inconv\u00e9nients de cette approche sont les co\u00fbts, la latence et les probl\u00e8mes de confidentialit\u00e9 li\u00e9s au transfert de donn\u00e9es personnelles ou d'entreprise dans les deux sens.<\/p>\n

RTX de NVIDIA<\/a> de GPU permet d\u00e9sormais d'ex\u00e9cuter un LLM localement sur votre PC Windows, m\u00eame si vous n'\u00eates pas connect\u00e9 \u00e0 l'internet.<\/p>\n

Chat with RTX permet aux utilisateurs de cr\u00e9er un chatbot personnalis\u00e9 en utilisant soit Mistral<\/a> ou Lama 2<\/a>. Il utilise la g\u00e9n\u00e9ration augment\u00e9e par r\u00e9cup\u00e9ration (RAG) et le logiciel TensorRT-LLM de NVIDIA qui optimise l'inf\u00e9rence.<\/p>\n

Vous pouvez diriger Chat with RTX vers un dossier de votre PC et lui poser des questions sur les fichiers contenus dans ce dossier. Il prend en charge diff\u00e9rents formats de fichiers, notamment .txt, .pdf, .doc\/.docx et .xml.<\/p>\n

Comme le LLM analyse des fichiers stock\u00e9s localement et que l'inf\u00e9rence se fait sur votre machine, il est tr\u00e8s rapide et aucune de vos donn\u00e9es n'est partag\u00e9e sur des r\u00e9seaux potentiellement non s\u00e9curis\u00e9s.<\/p>\n

Vous pouvez \u00e9galement lui demander l'URL d'une vid\u00e9o YouTube et lui poser des questions sur la vid\u00e9o. Cela n\u00e9cessite un acc\u00e8s \u00e0 l'internet, mais c'est un excellent moyen d'obtenir des r\u00e9ponses sans avoir \u00e0 regarder une longue vid\u00e9o.<\/p>\n

Vous pouvez t\u00e9l\u00e9charger Chat avec RTX<\/a> gratuitement, mais vous devez utiliser Windows 10 ou 11 sur votre PC avec un GPU GeForce RTX 30 Series ou sup\u00e9rieur, avec un minimum de 8 Go de VRAM.<\/p>\n

Chat with RTX est une d\u00e9mo, plut\u00f4t qu'un produit fini. Il est un peu bogu\u00e9 et ne se souvient pas du contexte, de sorte que vous ne pouvez pas lui poser de questions compl\u00e9mentaires. Mais c'est un bel exemple de la mani\u00e8re dont nous utiliserons les LLM \u00e0 l'avenir.<\/p>\n

L'utilisation locale d'un chatbot d'IA avec des co\u00fbts d'appel d'API nuls et une latence tr\u00e8s faible est probablement la fa\u00e7on dont la plupart des utilisateurs interagiront finalement avec les LLM. L'approche open-source adopt\u00e9e par des entreprises comme Meta permettra \u00e0 l'IA sur l'appareil de favoriser l'adoption de leurs mod\u00e8les gratuits plut\u00f4t que des mod\u00e8les propri\u00e9taires comme GPT.<\/p>\n

Cela dit, les utilisateurs d'ordinateurs portables et de t\u00e9l\u00e9phones mobiles devront encore attendre un peu avant que la puissance de calcul d'un GPU RTX puisse \u00eatre int\u00e9gr\u00e9e dans des appareils plus petits.<\/p>\n