План развития на 2023–2025 года́
В начале этого месяца в презентации для инвесторов компания Nvidia рассказала о планах развития устройств для дата-центров. За последний год производитель игровых видеокарт заработал подавляющую долю рынка ускорителей искусственного интеллекта. Дорожная карта по 2025 год указывает, что Nvidia пытается сохранить свой уверенный отрыв от конкурентов.
В последние месяцы наблюдается всплеск внимания к больши́м языковым моделям для текста и диффузионным моделям для генерации изображений. Многим таким инструментам меньше года. При этом в опросе McKinsey треть респондентов отвечает, что в их организациях уже пользуются генеративным ИИ.
Для инференса и, особенно, обучения нейросетей нужно специализированное аппаратное обеспечение. Чтобы обучить модели с миллиардами параметров, нужны видеокарты, если точнее — специализированные ускорители с больши́м объёмом памяти и широкой шиной данных для объединения в мощный вычислительный кластер. Лидирует в этой отрасли Nvidia, из-за чего стоимость производителя игровых видеокарт за год утроилась. Несколько компаний закупили десятки тысяч ускорителей A100 и H100 производства Nvidia, инвентарь игроков помельче и небольших исследовательских команд исчисляется сотнями и тысячами единиц. При этом стоимость каждого из таких устройств достигает $30 тыс. (флагманская модель H100 с 80 ГиБ памяти HBM3).
Лидер отрасли занимает доминирующую позицию. Как утверждает аналитика, в этом году больше $1 млрд на поставках оборудования для искусственного интеллекта получит только Nvidia. Чипы именно этой компании упоминают 19 из 20 исследовательских работ сферы ИИ.
Впрочем, конкуренты не дремлют и уже этой весной начали сокращать отставание. Никуда не делась AMD и её попытки продвигать ускорители MI300, Google добавила в портфолио TPU v5 и v5e для собственных нужд и для аренды сторонним партнёрам, Meta представила устройства MTIA, утечки говорят про ускоритель Athena у Microsoft, второе поколение Gaudi выпустила Intel. Некоторые из грядущих соперников (в частности, семейство MI300 от AMD и Gaudi 3 от Intel) превосходят ставшие стандартом в индустрии ИИ ускорители H100 компании Nvidia. Разрыв же в программном обеспечении играет уже не такую сильную роль.
В начале октября в презентации Nvidia успокоила инвесторов планами по дальнейшему развитию. Как правило, объявления такого калибра остаются на GPU Technology Conference. В этот раз информацию впервые раскрыли в нескольких слайдах [дорожная карта из презентации размещена до ката].
Обычно новые архитектуры у Nvidia выходили раз в два года. К примеру, так выглядели планы 2021 и 2022 годов:
Презентация GTC 2021, апрель 2021 года. Next Platform
Выставка Computex, май 2022 года. Next Platform
Со следующего года Nvidia хочет перейти на практику ежегодных обновлений модельного ряда. В 2024 году ускоритель H200 заменит своего предшественника H100, хотя архитектура останется той же — Hopper. Также в следующем году выйдет ускоритель B100, где B — указание на архитектуру Blackwell. Издание Next Platform связывает подобную торопливость с желанием отвлечь внимание от устройств MI300X компании AMD, выход которых ожидается в декабре.
Заметное нововведение: разные ускорители для платформ c процессорами x86 и отдельные суперчипы с ядрами Arm на борту. Как рассказывает издание CRN, во время закрытых обсуждений с инвесторами Nvidia раскрыла планы развить идею Grace Hopper Superchip, то есть продолжать создавать комбинацию ядер процессора и видеоускорителя на одной плате. Эти устройства на схеме обозначены суффиксом NVL. В 2024 запланированы GH200NVL и GB200NVL на основе, соответственно, H200 и B100.
В марте этого года Nvidia уже представила устройство с NVL в названии (H100 NVL), но это была просто спаренная четырёхслотовая карта для двух портов PCIe 5.0. Суперчип же содержит ядра центрального процессора и видеоускоритель, он специально создан для обработки больших моделей ИИ. Один Grace Hopper Superchip может объединяться с другими экземплярами, с которыми он общается по шине NVLink.
Вероятно, что фокус на суперчипах — реакция на представленный в июне AMD Instinct MI300A, гибридный ускоритель с 24 встроенными ядрами Zen 4 (x86). Очевидно, что просто спаренные карты H100 NVL — ответ так себе, считает Next Platform.
Grace Hopper Superchip. Nvidia
Хотя даже сама Nvidia обещала выпустить карту L40S на архитектуре Ada Lovelace этой осенью, в плане ускоритель почему-то вынесен на следующий год. Если судить по названию B40 — замена для L40S — в 2024 году планируется также на архитектуре Blackwell.
План обрывается 2025 годом и выходом ускорителя под, возможно, вре́менным именем GX200. Для модели также готовится вариант GX200NVL. Кстати, именно в 2025 году Samsung ожидает появление памяти HBM4. Скорость Infiniband и Ethernet в устройствах Nvidia обещают удваивать ежегодно: с 400 Гбит/с до 800 Гбит/с в 2024, а затем до 1600 Гбит/с в 2025 году.
Слайдов с планами развития NVSwitch и NVLink почему-то нет. Блоки обработки данных BlueField или хоть какие-либо игровые устройства также не упоминаются. Издание Tom's Hardware считает, что обновление четырёхтысячной серии GeForce выйдет не скоро, где-нибудь в 2025 году. Пока что искусственный интеллект приносит компании слишком много денег, чтобы волноваться о геймерах.
Источник: habr.com
