Los propietarios de tarjetas Nvidia podrán ejecutar modelos de GenAI en PC
Nvidia presentó una herramienta innovadora para los usuarios de las series GeForce RTX 30 y 40: Chat with RTX. Proporciona una experiencia de chatbot con tecnología de IA directamente en su PC con Windows. Al obtener acceso a documentos, archivos y carpetas almacenados en el dispositivo, el sistema le permite personalizar el modelo GenAI, siguiendo el ejemplo del famoso ChatGPT de OpenAI.
Como enfatiza Nvidia, Chat with RTX elimina la necesidad de buscar manualmente en archivos o carpetas, lo que le permite hacer preguntas directamente. Chat with RTX monitoreará los recursos locales especificados por el usuario y brindará una respuesta relevante.
La herramienta inteligente no solo soporta el modelo de código abierto de AI Mistral, sino también otros modelos de texto, en particular Llama 2 de Meta. Al mismo tiempo, sus desarrolladores advierten sobre la importante cantidad de memoria necesaria para su pleno funcionamiento: de 50 a 100 GB. En la versión actual, Chat with RTX funciona con formatos como PDF, DOC, DOCX, XML. Además, es capaz de descargar transcripciones de vídeos de YouTube.
El chatbot de Nvidia tiene una limitación. Carece de la capacidad de recordar el contexto. Esto significa que es imposible tener en cuenta solicitudes anteriores al formular respuestas a nuevas preguntas. Por ejemplo, decides preguntarle sobre los resultados del partido de fútbol entre Manchester United y Bayern de 2023. Si inmediatamente después preguntas quién marcó el primer gol, el chatbot no entenderá que estamos hablando de un partido entre estos dos equipos.
Según un informe publicado en el Foro Económico Mundial de este año, los dispositivos que puedan funcionar de forma autónoma con modelos GenAI ganarán popularidad. Las principales razones del rápido crecimiento son sus ventajas. Estos expertos incluyeron un alto nivel de confidencialidad en el procesamiento de datos, un menor retraso en la respuesta y rentabilidad en comparación con las soluciones en la nube.