Владельцы карт Nvidia смогут запускать модели GenAI на ПК
Компания Nvidia презентовала новаторский инструмент для владельцев GeForce RTX 30-й и 40-й серии – Chat with RTX. Он предоставляет возможность работы с чат-ботом на основе искусственного интеллекта непосредственно на ПК с Windows. Получив доступ к документам, файлам и папкам, хранящимся на устройстве, система позволяет настраивать модель GenAI по примеру известного ChatGPT от OpenAI.
Как подчеркивают в Nvidia, Chat with RTX избавляет от необходимости ручного поиска по файлам или архивам, позволяя задавать вопросы напрямую. Chat with RTX промониторит указанные пользователем локальные ресурсы и даст релевантный ответ.
«Умный» инструмент поддерживает не только модель от AI Mistral с открытым исходным кодом, но и другие текстовые модели, в частности Llama 2 от Meta. При этом его разработчики предупреждают о значительном объеме памяти, необходимом для его полноценной работы – от 50 до 100 ГБ. В текущей версии Chat with RTX работает с такими форматами, как PDF, DOC, DOCX, XML. Кроме того, он способен загружать транскрипции видео с YouTube.
У чат-бота Nvidia есть ограничение. Он лишен способности запоминать контекст. Это означает невозможность учета предыдущих запросов при формулировке ответов на новые вопросы. Например, вы решили спросить его о результатах футбольного матча между командами «Манчестер Юнайтед» и «Бавария» в 2023 году. Если сразу же после этого вы поинтересуетесь, кто забил первый гол, чат-бот не поймет, что речь идет о матче между этими двумя командами.
Согласно отчету, обнародованному по результатам состоявшегося в этом году Всемирного экономического форума, устройства, способные автономно работать с моделями GenAI, будут набирать популярность. Основные причины стремительного роста – их преимущества. К таковым эксперты отнесли высокий уровень конфиденциальности обработки данных, меньшую задержку отклика и экономичность по сравнению с облачными решениями.