Более года назад, на выставке CES 2023, AMD заявила, что будущие процессоры уже немыслимы без ускорения искусственного интеллекта. Соответственно, серия Ryzen Mobile 7000, а также новые Ryzen 8000(G) для ноутбуков и AM5 предлагают соответствующие аппаратные блоки Ryzen AI. У Intel ускорители встроены в текущие модели Meteor Lake в виде NPU на тайле SoC.
Однако, если не считать эффектов Windows Studio, пользователи все еще далеки от реального использования ускорения NPU. Приложения, которые теоретически могут использовать гораздо более эффективные NPU, часто все еще полагаются на ядра CPU или GPU для ускорения операций ИИ.
Таким образом, мы снова видим типичную проблему «курицы и яйца», когда программное обеспечение сначала должно дождаться, пока не будет достаточная аппаратная база, способная выполнять новые функции. Но без соответствующей программной поддержки покупатели не видят смысла брать новые CPU с ускорением ИИ.
Чтобы облегчить доступ разработчиков, Intel решила опубликовать NPU Acceleration Library на GitHub с открытым исходным кодом.
Тони Монгколсмай, архитектор программного обеспечения Intel, рассказал о возможностях для разработчиков с помощью NPU Acceleration Library. На NPU можно выполнять небольшие LLM, такие как Gemma-2b или TinyLlama, с несколькими миллиардами параметров. То есть можно запускать небольшие ИИ-приложения локально, здесь не потребуются особо мощные ускорители или внешние вычислительные мощности в облаке.
Пока что функциональные возможности NPU Acceleration Library все еще довольно ограничены. В планах есть много пробелов. В частности, не хватает поддержки BFloat16, вычислений со смешанной точностью и возможности одновременного гетерогенного запуска приложения на NPU и GPU.
В настоящее время AMD также пытается мотивировать разработчиков софта оптимизировать свои приложения, чтобы они могли использовать NPU. Но и здесь, за исключением нескольких демонстрационных версий, пока не удается найти практическую пользу, то есть прикладной софт, который действительно мог бы использовать NPU, а не просто работать на ядрах CPU или GPU. Соответствующую библиотеку Ryzen AI также можно найти на GitHub.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).