{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/pt\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"O chatbot personalizado da NVIDIA funciona localmente em PCs RTX AI"},"content":{"rendered":"

A NVIDIA lan\u00e7ou o Chat with RTX como uma demonstra\u00e7\u00e3o t\u00e9cnica de como os chatbots de IA podem ser executados localmente em PCs com Windows utilizando as suas GPUs RTX.<\/strong><\/p>\n

A abordagem padr\u00e3o da utiliza\u00e7\u00e3o de um chatbot de IA \u00e9 utilizar uma plataforma Web como o ChatGPT ou executar consultas atrav\u00e9s de uma API, com a infer\u00eancia a ter lugar em servidores de computa\u00e7\u00e3o em nuvem. As desvantagens desta abordagem s\u00e3o os custos, a lat\u00eancia e as preocupa\u00e7\u00f5es com a privacidade, com a transfer\u00eancia de dados pessoais ou empresariais para tr\u00e1s e para a frente.<\/p>\n

RTX da NVIDIA<\/a> de GPUs est\u00e1 agora a tornar poss\u00edvel executar um LLM localmente no seu PC Windows, mesmo que n\u00e3o esteja ligado \u00e0 Internet.<\/p>\n

O Chat with RTX permite aos utilizadores criar um chatbot personalizado utilizando Mistral<\/a> ou Lhama 2<\/a>. Utiliza a gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) e o software TensorRT-LLM de otimiza\u00e7\u00e3o da infer\u00eancia da NVIDIA.<\/p>\n

Pode direcionar o Chat com RTX para uma pasta no seu PC e depois fazer-lhe perguntas relacionadas com os ficheiros da pasta. Suporta v\u00e1rios formatos de ficheiros, incluindo .txt, .pdf, .doc\/.docx e .xml.<\/p>\n

Uma vez que o LLM analisa ficheiros armazenados localmente com a infer\u00eancia a ocorrer no seu computador, \u00e9 muito r\u00e1pido e nenhum dos seus dados \u00e9 partilhado em redes potencialmente n\u00e3o seguras.<\/p>\n

Tamb\u00e9m \u00e9 poss\u00edvel enviar-lhe o URL de um v\u00eddeo do YouTube e fazer-lhe perguntas sobre o v\u00eddeo. Isto requer acesso \u00e0 Internet, mas \u00e9 uma \u00f3ptima forma de obter respostas sem ter de ver um v\u00eddeo longo.<\/p>\n

Pode descarregar Conversa com RTX<\/a> gratuitamente, mas ter\u00e1 de ter o Windows 10 ou 11 no seu PC com uma GPU GeForce RTX s\u00e9rie 30 ou superior, com um m\u00ednimo de 8 GB de VRAM.<\/p>\n

O Chat com RTX \u00e9 uma demonstra\u00e7\u00e3o e n\u00e3o um produto acabado. Tem alguns bugs e n\u00e3o se lembra do contexto, pelo que n\u00e3o \u00e9 poss\u00edvel fazer-lhe perguntas de seguimento. Mas \u00e9 um bom exemplo da forma como vamos usar os LLMs no futuro.<\/p>\n

Utilizar um chatbot de IA localmente com custos zero de chamadas \u00e0 API e muito pouca lat\u00eancia \u00e9 provavelmente a forma como a maioria dos utilizadores acabar\u00e1 por interagir com os LLM. A abordagem de c\u00f3digo aberto que empresas como a Meta adoptaram far\u00e1 com que a IA no dispositivo impulsione a ado\u00e7\u00e3o dos seus modelos gratuitos em vez dos modelos propriet\u00e1rios como o GPT.<\/p>\n

Dito isto, os utilizadores de telem\u00f3veis e port\u00e1teis ainda ter\u00e3o de esperar algum tempo at\u00e9 que o poder de computa\u00e7\u00e3o de uma GPU RTX possa caber em dispositivos mais pequenos.<\/p>\n