{"id":10017,"date":"2024-02-14T10:06:29","date_gmt":"2024-02-14T10:06:29","guid":{"rendered":"https:\/\/dailyai.com\/?p=10017"},"modified":"2024-02-14T10:06:29","modified_gmt":"2024-02-14T10:06:29","slug":"nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/02\/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs\/","title":{"rendered":"El chatbot personalizado de NVIDIA se ejecuta localmente en PCs RTX AI"},"content":{"rendered":"

NVIDIA ha publicado Chat with RTX como demostraci\u00f3n t\u00e9cnica de c\u00f3mo los chatbots de IA pueden ejecutarse localmente en PC Windows utilizando sus GPU RTX.<\/strong><\/p>\n

El enfoque est\u00e1ndar para utilizar un chatbot de IA es utilizar una plataforma web como ChatGPT o ejecutar consultas a trav\u00e9s de una API, con la inferencia que tiene lugar en los servidores de computaci\u00f3n en nube. Los inconvenientes son los costes, la latencia y los problemas de privacidad derivados de la transferencia de datos personales o corporativos de un lado a otro.<\/p>\n

RTX de NVIDIA<\/a> de GPU permite ahora ejecutar un LLM localmente en tu PC Windows aunque no est\u00e9s conectado a Internet.<\/p>\n

Chat con RTX permite a los usuarios crear un chatbot personalizado utilizando Mistral<\/a> o Llama 2<\/a>. Utiliza la generaci\u00f3n aumentada por recuperaci\u00f3n (RAG) y el software TensorRT-LLM de NVIDIA para optimizar la inferencia.<\/p>\n

Puedes dirigir Chat con RTX a una carpeta de tu PC y luego hacerle preguntas relacionadas con los archivos de la carpeta. Admite varios formatos de archivo, como .txt, .pdf, .doc\/.docx y .xml.<\/p>\n

Dado que el LLM analiza archivos almacenados localmente con inferencia en su m\u00e1quina, es realmente r\u00e1pido y ninguno de sus datos se comparte en redes potencialmente inseguras.<\/p>\n

Tambi\u00e9n puedes indicarle la URL de un v\u00eddeo de YouTube y hacerle preguntas sobre el v\u00eddeo. Eso requiere acceso a Internet, pero es una buena forma de obtener respuestas sin tener que ver un v\u00eddeo largo.<\/p>\n

Puede descargar Chat con RTX<\/a> de forma gratuita, pero necesitar\u00e1s ejecutar Windows 10 u 11 en tu PC con una GPU GeForce RTX Serie 30 o superior, con un m\u00ednimo de 8 GB de VRAM.<\/p>\n

Chat con RTX es una demo, m\u00e1s que un producto terminado. Tiene algunos fallos y no recuerda el contexto, por lo que no puedes hacerle preguntas de seguimiento. Pero es un buen ejemplo de c\u00f3mo utilizaremos los LLM en el futuro.<\/p>\n

El uso local de un chatbot de IA sin costes de llamadas a la API y con muy poca latencia es probablemente la forma en que la mayor\u00eda de los usuarios acabar\u00e1n interactuando con los LLM. El enfoque de c\u00f3digo abierto que han adoptado empresas como Meta har\u00e1 que la IA en el dispositivo impulse la adopci\u00f3n de sus modelos gratuitos en lugar de los propietarios como GPT.<\/p>\n

Dicho esto, los usuarios de m\u00f3viles y port\u00e1tiles tendr\u00e1n que esperar todav\u00eda un tiempo antes de que la potencia de c\u00e1lculo de una GPU RTX quepa en dispositivos m\u00e1s peque\u00f1os.<\/p>\n