Платформа Nvidia NIM прискорить розгортання ШI-моделей
На щорічній технологічній конференції GTC 2024, що відбулася зовсім нещодавно, корпорація Nvidia анонсувала запуск своєї нової програмної платформи під назвою NIM. Основне завдання новинки – прискорити процес впровадження моделей штучного інтелекту у виробничому середовищі і дати розробникам можливість розгортати їх ефективніше.
За словами представників Nvidia, на створення таких платформ зазвичай витрачається багато часу – від кількох тижнів до місяців. І це за наявності команди висококваліфікованих спеціалістів з ШІ. Застосування NIM передбачає формування інфраструктури з готових до використання контейнерів з ШІ на базі обладнання Nvidia. Таким чином, ця платформа надає основу комплексного програмного забезпечення організаціям, які прагнуть прискорити виконання своїх завдань у галузі штучного інтелекту.
Наразі NIM підтримує моделі безпосередньо від NVIDIA, а також від таких компаній, як A121, Adept, Cohere, Getty Images, Shutterstock. Крім них, вона підтримує відкриті моделі від Google, Hugging Face, Meta, Microsoft, Mistral AI та Stability AI. Для впровадження мікросервісів NIM у платформи SageMaker, Kubernetes Engine та Azure AI корпорація Nvidia активно співпрацює з Amazon, Google та Microsoft. У майбутньому планується їх інтеграція з Deepset, LangChain і LlamaIndex.
Манувір Дас, директор з корпоративних обчислень у Nvidia, зазначив, що їхні графічні процесори – ідеальне місце для роботи моделей ШІ. Разом з NIM розробники отримують найкраще програмне середовище для створення корпоративних додатків. Також він наголосив, що Nvidia бере на себе технічні аспекти роботи, дозволяючи натомість авторам моделей штучного інтелекту зосередитися на найважливішому.
Для прискорення розробки Nvidia використовує сервери Triton, TensorRT та TensorRT-LLM. Через NIM доступні такі мікросервіси Nvidia: Riva (для адаптації мовних моделей), cuOpt (для оптимізації маршрутів) та Earth-2 (для прогнозування погоди). Надалі корпорація планує розширити наявний функціонал. Наприклад, додати LLM Nvidia RAG для спрощення розробки генеративних чат-ботів.