{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"NVIDIAs eigener Chatbot l\u00e4uft lokal auf RTX AI PCs"},"content":{"rendered":"

NVIDIA hat mit Chat with RTX eine Tech-Demo ver\u00f6ffentlicht, die zeigt, wie KI-Chatbots mit seinen RTX-GPUs lokal auf Windows-PCs ausgef\u00fchrt werden k\u00f6nnen.<\/strong><\/p>\n

Der Standardansatz f\u00fcr den Einsatz eines KI-Chatbots ist die Verwendung einer Webplattform wie ChatGPT oder die Durchf\u00fchrung von Abfragen \u00fcber eine API, wobei die Schlussfolgerungen auf Cloud-Computing-Servern erfolgen. Die Nachteile dieses Ansatzes sind die Kosten, die Latenzzeit und die Bedenken hinsichtlich des Datenschutzes, wenn pers\u00f6nliche oder Unternehmensdaten hin und her \u00fcbertragen werden.<\/p>\n

NVIDIAs RTX<\/a> Reihe von Grafikprozessoren macht es jetzt m\u00f6glich, ein LLM lokal auf Ihrem Windows-PC auszuf\u00fchren, auch wenn Sie nicht mit dem Internet verbunden sind.<\/p>\n

Mit Chat with RTX k\u00f6nnen Benutzer einen personalisierten Chatbot erstellen, der entweder Mistral<\/a> oder Lama 2<\/a>. Es verwendet die Retrieval-Augmented Generation (RAG) und NVIDIAs inferenzoptimierende TensorRT-LLM Software.<\/p>\n

Sie k\u00f6nnen Chat with RTX auf einen Ordner auf Ihrem PC leiten und ihm dann Fragen zu den Dateien in diesem Ordner stellen. Es unterst\u00fctzt verschiedene Dateiformate, darunter .txt, .pdf, .doc\/.docx und .xml.<\/p>\n

Da der LLM lokal gespeicherte Dateien analysiert, wobei die Schlussfolgerungen auf Ihrem Computer stattfinden, ist er sehr schnell, und keine Ihrer Daten werden \u00fcber potenziell ungesicherte Netzwerke weitergegeben.<\/p>\n

Sie k\u00f6nnen dem Programm auch die URL eines YouTube-Videos vorgeben und ihm Fragen zum Video stellen. Das erfordert zwar einen Internetzugang, aber es ist eine gute M\u00f6glichkeit, Antworten zu erhalten, ohne ein langes Video ansehen zu m\u00fcssen.<\/p>\n

Sie k\u00f6nnen Chat mit RTX herunterladen<\/a> kostenlos, aber Sie m\u00fcssen Windows 10 oder 11 auf Ihrem PC mit einer GeForce RTX 30 Series GPU oder h\u00f6her mit mindestens 8 GB VRAM verwenden.<\/p>\n

Der Chat mit RTX ist eher eine Demo als ein fertiges Produkt. Es ist ein wenig fehlerhaft und merkt sich den Kontext nicht, so dass Sie ihm keine Folgefragen stellen k\u00f6nnen. Aber es ist ein sch\u00f6nes Beispiel daf\u00fcr, wie wir LLMs in Zukunft nutzen werden.<\/p>\n

Die lokale Nutzung eines KI-Chatbots ohne API-Aufrufkosten und mit sehr geringer Latenz ist wahrscheinlich die Art und Weise, wie die meisten Nutzer letztendlich mit LLMs interagieren werden. Der Open-Source-Ansatz, den Unternehmen wie Meta verfolgt haben, wird dazu f\u00fchren, dass die KI auf dem Ger\u00e4t die Akzeptanz ihrer kostenlosen Modelle vorantreibt und nicht die propriet\u00e4ren Modelle wie GPT.<\/p>\n

Allerdings werden sich Nutzer von Mobilger\u00e4ten und Laptops noch eine Weile gedulden m\u00fcssen, bis die Rechenleistung eines RTX-Grafikprozessors in kleinere Ger\u00e4te passt.<\/p>\n