В рамках программы Innovation 2023 компания Intel опубликовала несколько интересных бенчмарков, поскольку ни в коем случае не хочет признавать лидерство NVIDIA в области генеративных ИИ-приложений и больших языковых моделей.
Intel показала тренировку модели Huggingface в BridgeTower, при этом восемь чипов H100 от NVIDIA соревновались с восемью ускорителями Gaudi2 от Intel. Преимущество Intel, как утверждается, составило 37%. Тренировка – это хорошо, но не менее важной задачей является тонкая настройка под различные модели.
И здесь Intel предоставила новые данные и сравнения. По сравнению с ускорителями A100 новые Gaudi2 быстрее в 2,5 раза, а также оставляют позади ускорители H100 и оказываются быстрее на 40%.
Однако при проведении подобных сравнений всегда важно знать, что производители ускорителей могут вносить определенные оптимизации, чтобы та или иная модель ИИ просчитывалась особенно хорошо. Значимую роль здесь как раз играют программные оптимизации.
Помимо производительности, Intel видит себя впереди и с точки зрения стоимости и эффективности. В области инференса она рассчитывается как пропускная способность на ватт, и здесь Gaudi2, как утверждается, имеет преимущество в 1,42-2,89 раза.
В последних бенчмарках MLCommons (MLPerf Inference 3.1) Intel также смогла показать хорошие результаты с Gaudi2. Однако преимущество NVIDIA в том, что необходимая программная инфраструктура более распространена, и NVIDIA имеет гигантскую долю рынка, которую Intel должна сначала «отъесть» с помощью OneAPI. Проблема «курицы и яйца» не может быть быстро решена, что играет на руку NVIDIA. Кроме того, с дальнейшими разработками, такими как TensorRT LLM, NVIDIA продолжает усиливать свое программное обеспечение, в результате модели ИИ будут рассчитываться еще быстрее, а также эффективно использовать аппаратные ресурсы.
Бенчмарк Granite Rapids
Granite Rapids станет P-ядерным вариантом следующего поколения Xeon за Emerald Rapids. Некоторые подробности были раскрыты на Hotchips 2023, но компания пока не публиковала данные производительности. Однако на одной из сессий Innovation было показано сравнение.
В нем неназванный процессор Xeon четвертого поколения (Sapphire Rapids) сравнивается с процессором Granite Rapids. В качестве эталона использовалась тренировка MLPerf GPT-J с 6 млрд. параметров. И Xeon на Granite Rapids оказался быстрее в 2,57 раза.
Не зная точных аппаратных конфигураций, эти значения мало о чем говорят. Но тем не менее интересно, что Intel привела первые результаты производительности.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).