{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"NVIDIAs tilpassede chatbot kj\u00f8rer lokalt p\u00e5 RTX AI-PC-er"},"content":{"rendered":"

NVIDIA har lansert Chat with RTX som en teknisk demo av hvordan AI-chatboter kan kj\u00f8res lokalt p\u00e5 Windows-PC-er ved hjelp av RTX-GPU-ene.<\/strong><\/p>\n

Standardmetoden for \u00e5 bruke en AI-chatbot er \u00e5 bruke en nettplattform som ChatGPT eller \u00e5 kj\u00f8re sp\u00f8rringer via et API, der utledningen skjer p\u00e5 servere i skyen. Ulempene med dette er kostnader, ventetid og personvernhensyn i forbindelse med overf\u00f8ring av personopplysninger eller bedriftsdata frem og tilbake.<\/p>\n

NVIDIAs RTX<\/a> GPU-utvalget gj\u00f8r det n\u00e5 mulig \u00e5 kj\u00f8re en LLM lokalt p\u00e5 Windows-PC-en din, selv om du ikke er koblet til Internett.<\/p>\n

Chat med RTX lar brukerne opprette en personlig chatbot ved hjelp av enten Mistral<\/a> eller Lama 2<\/a>. Den bruker RAG (retrieval-augmented generation) og NVIDIAs inferensoptimaliserende TensorRT-LLM-programvare.<\/p>\n

Du kan sende Chat with RTX direkte til en mappe p\u00e5 PC-en og deretter stille den sp\u00f8rsm\u00e5l om filene i mappen. Programmet st\u00f8tter ulike filformater, blant annet .txt, .pdf, .doc\/.docx og .xml.<\/p>\n

Fordi LLM analyserer lokalt lagrede filer med slutninger som skjer p\u00e5 maskinen din, g\u00e5r det veldig raskt, og ingen av dataene dine deles p\u00e5 potensielt usikrede nettverk.<\/p>\n

Du kan ogs\u00e5 be den om \u00e5 vise URL-en til en YouTube-video og stille den sp\u00f8rsm\u00e5l om videoen. Det krever internettilgang, men det er en fin m\u00e5te \u00e5 f\u00e5 svar p\u00e5 uten \u00e5 m\u00e5tte se en lang video.<\/p>\n

Du kan last ned Chat med RTX<\/a> gratis, men du m\u00e5 kj\u00f8re Windows 10 eller 11 p\u00e5 PC-en din med en GPU i GeForce RTX 30-serien eller h\u00f8yere, med minst 8 GB VRAM.<\/p>\n

Chat med RTX er en demo, ikke et ferdig produkt. Den er litt buggy og husker ikke konteksten, s\u00e5 du kan ikke stille den oppf\u00f8lgingssp\u00f8rsm\u00e5l. Men det er et fint eksempel p\u00e5 hvordan vi kommer til \u00e5 bruke LLM-er i fremtiden.<\/p>\n

\u00c5 bruke en AI-chatbot lokalt uten API-kostnader og med sv\u00e6rt liten ventetid er sannsynligvis m\u00e5ten de fleste brukere til slutt vil samhandle med LLM-er p\u00e5. Open source-tiln\u00e6rmingen som selskaper som Meta har tatt, vil f\u00f8re til at AI p\u00e5 enheten driver adopsjonen av deres gratis modeller i stedet for propriet\u00e6re modeller som GPT.<\/p>\n

N\u00e5r det er sagt, m\u00e5 brukere av mobile og b\u00e6rbare datamaskiner vente en stund til f\u00f8r datakraften til en RTX GPU f\u00e5r plass i mindre enheter.<\/p>\n