На данный момент в сегменте генеративного ИИ доминирует NVIDIA. Выручка в $10 млрд. у подразделения дата-центров говорит сама за себя. Но другие производители тоже не сидят, сложа руки. Причем у них есть, чем выделиться. Например, эффективностью.
IBM Research представила на конференции HotChips ускоритель ИИ NorthPole. Тенденция понятна: множество маленьких ускорителей получают большие объемы памяти и соединяются быстрым интерконнектом. Память SRAM используется, чтобы хранить данные как можно ближе к вычислительным блокам. Все же частое копирование данных из внешней памяти приводит к задержкам и расходу дополнительной энергии.
Данные будут подготавливаться под нужную модель ML с помощью программного обеспечения. От предсказания ветвлений было решено отказаться, поскольку они могут приводить к задержкам, негативно сказываясь на производительности и энергопотреблении.
При разработке чипов в приоритете была максимальная пропускная способность и большой объем памяти непосредственно на кристалле. IBM считает, что она намного превосходит конкурента NVIDIA в собственных тестах. Однако пока отсутствует важный компонент: сами чипы.
Внешней памяти не предусмотрено вообще. Прототип демонстрировался в виде карты расширения PCI Express. FPGA, по всей видимости, используется только на этапе разработки. Чип NorthPole производится по 12-нм техпроцессу на GlobalFoundries, что связано с партнерством IBM. С 22 млрд. транзисторов чип NorthPole занимает площадь 800 мм². Питание к прототипу подводится 8-контактным штекером. NorthPole потребляет 150-200 Вт.
Пока не совсем понятно, когда и в каком виде IBM выпустит NorthPole. Но у IBM достаточно компетенции и клиентов, чтобы воплотить проект в жизнь.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).