{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"Il chatbot personalizzato di NVIDIA viene eseguito localmente sui PC RTX AI"},"content":{"rendered":"

NVIDIA ha rilasciato Chat with RTX come dimostrazione tecnica di come i chatbot AI possano essere eseguiti localmente su PC Windows utilizzando le sue GPU RTX.<\/strong><\/p>\n

L'approccio standard all'uso di un chatbot AI consiste nell'utilizzare una piattaforma web come ChatGPT o nell'eseguire query tramite un'API, con l'inferenza che avviene su server di cloud computing. Gli svantaggi sono i costi, la latenza e i problemi di privacy legati al trasferimento di dati personali o aziendali.<\/p>\n

RTX di NVIDIA<\/a> La gamma di GPU di cui disponiamo rende ora possibile l'esecuzione di un LLM in locale sul proprio PC Windows, anche se non si \u00e8 connessi a Internet.<\/p>\n

Chat with RTX permette agli utenti di creare un chatbot personalizzato utilizzando Maestrale<\/a> o Lama 2<\/a>. Utilizza la generazione aumentata del reperimento (RAG) e il software TensorRT-LLM di NVIDIA che ottimizza l'inferenza.<\/p>\n

\u00c8 possibile indirizzare Chat with RTX a una cartella del PC e poi porgli domande relative ai file contenuti nella cartella. Supporta vari formati di file, tra cui .txt, .pdf, .doc\/.docx e .xml.<\/p>\n

Poich\u00e9 LLM analizza i file memorizzati localmente e l'inferenza avviene sul vostro computer, \u00e8 molto veloce e nessuno dei vostri dati viene condiviso su reti potenzialmente non protette.<\/p>\n

Si pu\u00f2 anche richiedere l'URL di un video di YouTube e porre domande sul video. Ci\u00f2 richiede l'accesso a Internet, ma \u00e8 un ottimo modo per ottenere risposte senza dover guardare un lungo video.<\/p>\n

\u00c8 possibile scarica Chat con RTX<\/a> gratuitamente, ma \u00e8 necessario eseguire Windows 10 o 11 sul proprio PC con una GPU GeForce RTX 30 Series o superiore, con almeno 8 GB di VRAM.<\/p>\n

Chat with RTX \u00e8 una demo, piuttosto che un prodotto finito. \u00c8 un po' buggata e non ricorda il contesto, quindi non \u00e8 possibile farle domande successive. Ma \u00e8 un bell'esempio del modo in cui utilizzeremo gli LLM in futuro.<\/p>\n

L'utilizzo di un chatbot AI in locale, con zero costi di chiamata API e una latenza minima, \u00e8 probabilmente il modo in cui la maggior parte degli utenti finir\u00e0 per interagire con i LLM. L'approccio open-source adottato da aziende come Meta far\u00e0 s\u00ec che l'IA sul dispositivo guidi l'adozione dei loro modelli gratuiti piuttosto che di quelli proprietari come GPT.<\/p>\n

Detto questo, gli utenti di cellulari e laptop dovranno aspettare ancora un po' prima che la potenza di calcolo di una GPU RTX possa essere inserita in dispositivi pi\u00f9 piccoli.<\/p>\n