Сегодня ускорители H100 от NVIDIA раскупают, как горячие пирожки. Достаточно упомянуть таких крупных клиентов, как Meta, Google или Microsoft. Причем ускорители нужны в огромных количествах, что подтвердил анонс партнера NVIDIA, стартапа в сфере искусственного интеллекта Inflection AI. Стартап уже оценивается в $1,5 млрд., в него инвестировали, например, Билл Гейтс и Эрик Шмидт.
Новый суперкомпьютер стартапа содержит 22.000 ускорителей H100. Он займет второе место по производительности в мире по вычислениям FP64 – сразу за Frontier, нынешним лидером. На данный момент запущен кластер с 3.584 ускорителями H100, на нем Microsoft предоставляет инстанции Azure под управлением облачного провайдера CoreWeave. Данная система недавно показала новые рекордные результаты в тесте тренировки MLPerf.
Увеличение числа ускорителей H100 до 22.000 – следующий шаг развития стартапа. Он вряд ли будет простым, поскольку речь идет о почти 700 серверных стойках с четырьмя узлами каждая. Узлы, в свою очередь, состоят из процессора Intel и восьми ускорителей H100. Подобный суперкомпьютер будет потреблять 31 МВт мощности, а цена составит порядка $1 млрд. Прямое участие партнера NVIDIA в стартапе Inflection AI наверняка сказалось положительно.
Ускорители H100 для NVIDIA – отличный инструмент заработка. При возможности компания перевела бы все подложки на мощностях TSMC на производство H100, а также мощности корпусировки, чтобы продать как можно больше ускорителей. Но у TSMC очень строгие ограничения по мощностям, которые наверняка исчерпаны. Последние годы корпусировке уделяется все больше внимания, мощности производителей по корпусировке тоже последовательно расширяются.
NVIDIA выигрывает от текущего положения дел, поскольку конкурентов практически нет. Ускорители AMD Instinct MI250 только достигли уровня, когда программная поддержка позволяет удобно с ними работать. Пройдет еще какое-то время до выхода ускорителей MI300A и MI300X. У Intel Gaudi 2 тоже есть потенциал, но NVIDIA, в целом, намного лучше позиционируется по аппаратному обеспечению (в том числе системам DGX/HGX) и программной экосистеме.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).