Платформа Nvidia NIM ускорит развертывание AI-моделей
На недавно состоявшейся ежегодной технологической выставке GTC 2024, корпорация Nvidia анонсировала запуск своей новейшей программной платформы под названием NIM. Основная задача новинки – ускорить внедрение моделей искусственного интеллекта в производственные процессы, давая разработчикам возможность более эффективного их развертывания.
По словам представителей Nvidia, создание подобных платформ обычно занимает много времени – от нескольких недель до месяцев. И это при наличии команды высококвалифицированных специалистов по ИИ. Применение NIM предполагает формирование инфраструктуры из уже готовых к использованию контейнеров с ИИ на базе оборудования Nvidia. Таким образом, эта платформа дает основу комплексного программного обеспечения организациям, стремящимся ускорить выполнение своих задач в области искусственного интеллекта.
На данный момент NIM поддерживает модели непосредственно от NVIDIA, а также от таких компаний, как A121, Adept, Cohere, Getty Images, Shutterstock. Кроме них, она поддерживает открытые модели от Google, Hugging Face, Meta, Microsoft, Mistral AI и Stability AI. Для внедрения микросервисов NIM в платформы SageMaker, Kubernetes Engine и Azure AI корпорация Nvidia активно сотрудничает с Amazon, Google и Microsoft. В будущем планируется их интеграция с Deepset, LangChain и LlamaIndex.
Манувир Дас, директор по корпоративным вычислениям в Nvidia, отметил, что их графические процессоры – идеальное место для работы моделей ИИ. Вместе с NIM разработчики получают наилучшую программную среду для создания корпоративных приложений. Также он подчеркнул, что Nvidia берет на себя технические аспекты работы, позволяя авторам моделей искусственного интеллекта сосредоточиться на самом важном.
Для ускорения разработки Nvidia использует серверы Triton, TensorRT и TensorRT-LLM. Через NIM доступны такие микросервисы Nvidia: Riva (для адаптации речевых моделей), cuOpt (для оптимизации маршрутов) и Earth-2 (для прогнозирования погоды). В дальнейшем корпорация планирует расширить имеющийся функционал. Например, добавить LLM Nvidia RAG для упрощения разработки генеративных чат-ботов.