{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"NVIDIA's brugerdefinerede chatbot k\u00f8rer lokalt p\u00e5 RTX AI-pc'er"},"content":{"rendered":"

NVIDIA har udgivet Chat with RTX som en teknisk demonstration af, hvordan AI-chatbots kan k\u00f8re lokalt p\u00e5 Windows-pc'er ved hj\u00e6lp af RTX GPU'er.<\/strong><\/p>\n

Standardtilgangen til at bruge en AI-chatbot er at bruge en webplatform som ChatGPT eller at k\u00f8re foresp\u00f8rgsler via en API, hvor inferens finder sted p\u00e5 cloud computing-servere. Ulemperne ved dette er omkostninger, ventetid og bekymringer om privatlivets fred, n\u00e5r personlige data eller virksomhedsdata overf\u00f8res frem og tilbage.<\/p>\n

NVIDIA's RTX<\/a> serie af GPU'er g\u00f8r det nu muligt at k\u00f8re en LLM lokalt p\u00e5 din Windows-pc, selv om du ikke har forbindelse til internettet.<\/p>\n

Chat med RTX giver brugerne mulighed for at skabe en personlig chatbot ved hj\u00e6lp af enten Mistral<\/a> eller Lama 2<\/a>. Den bruger RAG (retrieval-augmented generation) og NVIDIA's inferensoptimerende TensorRT-LLM-software.<\/p>\n

Du kan sende Chat with RTX direkte til en mappe p\u00e5 din pc og derefter stille den sp\u00f8rgsm\u00e5l om filerne i mappen. Den underst\u00f8tter forskellige filformater, herunder .txt, .pdf, .doc\/.docx og .xml.<\/p>\n

Fordi LLM analyserer lokalt lagrede filer med udledning, der sker p\u00e5 din maskine, er det virkelig hurtigt, og ingen af dine data deles p\u00e5 potentielt usikre netv\u00e6rk.<\/p>\n

Du kan ogs\u00e5 give den en URL til en YouTube-video og stille den sp\u00f8rgsm\u00e5l om videoen. Det kr\u00e6ver internetadgang, men det er en god m\u00e5de at f\u00e5 svar p\u00e5 uden at skulle se en lang video.<\/p>\n

Du kan download Chat med RTX<\/a> gratis, men du skal k\u00f8re Windows 10 eller 11 p\u00e5 din pc med en GeForce RTX 30 Series GPU eller h\u00f8jere med mindst 8 GB VRAM.<\/p>\n

Chat med RTX er en demo og ikke et f\u00e6rdigt produkt. Den er lidt buggy og husker ikke konteksten, s\u00e5 du kan ikke stille den opf\u00f8lgende sp\u00f8rgsm\u00e5l. Men det er et godt eksempel p\u00e5 den m\u00e5de, vi vil bruge LLM'er p\u00e5 i fremtiden.<\/p>\n

At bruge en AI-chatbot lokalt uden omkostninger til API-opkald og med meget lidt ventetid er sandsynligvis den m\u00e5de, de fleste brugere i sidste ende vil interagere med LLM'er p\u00e5. Den open source-tilgang, som virksomheder som Meta har taget, vil se AI p\u00e5 enheden drive vedtagelsen af deres gratis modeller i stedet for propriet\u00e6re modeller som GPT.<\/p>\n

N\u00e5r det er sagt, m\u00e5 mobil- og laptopbrugere vente et stykke tid endnu, f\u00f8r computerkraften i en RTX GPU kan passe ind i mindre enheder.<\/p>\n