{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"NVIDIA:s anpassade chatbot k\u00f6rs lokalt p\u00e5 RTX AI-datorer"},"content":{"rendered":"

NVIDIA har sl\u00e4ppt Chat with RTX som en teknisk demonstration av hur AI-chattbottar kan k\u00f6ras lokalt p\u00e5 Windows-datorer med hj\u00e4lp av RTX GPU:er.<\/strong><\/p>\n

Standardmetoden f\u00f6r att anv\u00e4nda en AI-chatbot \u00e4r att anv\u00e4nda en webbplattform som ChatGPT eller att k\u00f6ra fr\u00e5gor via ett API, med inferens som sker p\u00e5 molnservrar. Nackdelarna med detta \u00e4r kostnaderna, latensen och integritetsaspekterna med personuppgifter eller f\u00f6retagsdata som \u00f6verf\u00f6rs fram och tillbaka.<\/p>\n

NVIDIA:s RTX<\/a> GPU-serien g\u00f6r det nu m\u00f6jligt att k\u00f6ra en LLM lokalt p\u00e5 din Windows-dator \u00e4ven om du inte \u00e4r ansluten till internet.<\/p>\n

Chat with RTX l\u00e5ter anv\u00e4ndare skapa en personlig chatbot med hj\u00e4lp av antingen Mistral<\/a> eller Lama 2<\/a>. Den anv\u00e4nder RAG (retrieval-augmented generation) och NVIDIA:s inferensoptimerande programvara TensorRT-LLM.<\/p>\n

Du kan styra Chat with RTX till en mapp p\u00e5 din dator och sedan st\u00e4lla fr\u00e5gor om filerna i mappen. Programmet st\u00f6der olika filformat, bland annat .txt, .pdf, .doc\/.docx och .xml.<\/p>\n

Eftersom LLM analyserar lokalt lagrade filer med slutledning som sker p\u00e5 din maskin \u00e4r det mycket snabbt och ingen av dina data delas p\u00e5 potentiellt os\u00e4kra n\u00e4tverk.<\/p>\n

Du kan ocks\u00e5 ge den en URL till en YouTube-video och st\u00e4lla fr\u00e5gor om videon. Det kr\u00e4ver internet\u00e5tkomst, men det \u00e4r ett bra s\u00e4tt att f\u00e5 svar utan att beh\u00f6va titta p\u00e5 en l\u00e5ng video.<\/p>\n

Du kan nedladdning Chatt med RTX<\/a> gratis, men du m\u00e5ste k\u00f6ra Windows 10 eller 11 p\u00e5 din dator med en GPU i GeForce RTX 30-serien eller h\u00f6gre, med minst 8 GB VRAM.<\/p>\n

Chatt med RTX \u00e4r en demo, snarare \u00e4n en f\u00e4rdig produkt. Den \u00e4r lite buggig och kommer inte ih\u00e5g sammanhanget, s\u00e5 du kan inte st\u00e4lla f\u00f6ljdfr\u00e5gor till den. Men det \u00e4r ett bra exempel p\u00e5 hur vi kommer att anv\u00e4nda LLM:er i framtiden.<\/p>\n

Att anv\u00e4nda en AI-chatbot lokalt med noll API-samtalskostnader och mycket liten latens \u00e4r sannolikt det s\u00e4tt som de flesta anv\u00e4ndare s\u00e5 sm\u00e5ningom kommer att interagera med LLM. Den \u00f6ppna k\u00e4llkodsstrategin som f\u00f6retag som Meta har tagit kommer att se AI p\u00e5 enheten driva antagandet av sina fria modeller snarare \u00e4n propriet\u00e4ra som GPT.<\/p>\n

Med detta sagt kommer anv\u00e4ndare av mobila och b\u00e4rbara datorer att f\u00e5 v\u00e4nta ett tag till innan datorkraften hos en RTX GPU kan passa in i mindre enheter.<\/p>\n