Для сферы ИИ программное обеспечение является вторым ключевым фактором наряду с мощными ускорителями. Оптимизация приложений и обрабатываемых данных может сыграть важную роль в итоговой производительности оборудования. Поэтому производители ускорителей стремятся предложить максимально широкую программную экосистему, чтобы объединить на ее основе как можно больше разработчиков, использующих самые разные платформы приложений и данных, модели и сопутствующие инструменты.
NVIDIA представляет на GTC24 микросервис NIM, предназначенный для инференса моделей ИИ. NIM станет частью пакета NVIDIA AI Enterprise 5.0, который в настоящее время доступен в версии 4.0.
Все, кто уже использует NVIDIA AI Enterprise 4.0, получат новый набор функций после обновления. Стоимость NVIDIA AI Enterprise остается на уровне $4.500 за GPU в год или $1 за GPU в час для облачного варианта.
В микросервис NIM NVIDIA упаковывает существующие модели, будь то LLM или мультимодальные модели, вместе с оптимизированными движками. Получается микросервис, оптимизированный под используемое оборудование, которое может варьироваться от ноутбуков с GPU RTX до ускорителей ИИ в центрах обработки данных.
NVIDIA будет постоянно работать над тем, чтобы поддерживать контейнеры в актуальном состоянии - будь то дальнейшая оптимизация модели или аппаратного обеспечения. Поэтому пользователь микросервиса может быть уверен, что всегда получает идеальное программное решение для соответствующего оборудования. Наборы данных совместимы друг с другом - независимо от того, используются ли они для инференса на мобильном RTX GPU или на облачном ускорителе B100.
С помощью NIM миллионы разработчиков ИИ и сотни миллионов графических процессоров NVIDIA, которые в разных версиях используются по всему миру, будут объединены под общим знаменателем - общей программной платформой.
Разработчики могут ознакомиться с образцами, запросить ключи API и загрузить контейнеры NIM на ai.nvidia.com. Соответствующие API для других сервисов также предлагаются в NIM.
Дальнейшие инновации NVIDIA AI Enterprise 5.0 включают end-to-end платформу NeMO - от тренировки модели до тонкой настройки, добавления ограничений и многого другого.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).