Elfiyka
- 160
Every flower blooms in its own time.
На выставке Vision 2024 компания Intel приоткрыла завесу над Gaudi3, своим ускорителем ИИ нового поколения, объединяющим две 5-нм матрицы TSMC. Чип может похвастаться впечатляющими характеристиками: 64 ядра Tensor (5-го поколения), 128 ГБ памяти HBM2w и 900 Вт мощности на выходе. Gaudi3 пришел на смену Gaudi2, разработанному компанией Habana Labs, которую Intel приобрела пять лет назад.
Количество тензорных ядер увеличилось с 24 в Gaudi2 до двух 32 тензорных ядер на двух чипах. Каждый чип оснащен 48 МБ памяти SRAM, что в сумме составляет 96 МБ на весь комплект. Сама память SRAM имеет пропускную способность 12,8 ТБ/с. Эта память поддерживается памятью HBM, по-прежнему основанной на технологии HBM2e, но с более высокой общей пропускной способностью - 3,7 ТБ/с по сравнению с 2,45 ТБ/с у Gaudi2. Кроме того, полный объем памяти увеличился с 96 ГБ до 128 ГБ.
В дизайне форм-фактора PCIe (HL-388) Gaudi3 также использует интерфейс PCI Express 5.0 на все 16 дорожек. Как утверждается, TDP этой версии составляет от 450 до 600 Вт, что редко встречается для данного форм-фактора. Однако существует и версия OAM (HL-328/325L/335). TDP этой версии составляет от 450 до 900 Вт при воздушном охлаждении сервера и 900 Вт при водяном охлаждении (HL-335).
Intel проводит несколько сравнений с нынешним лидером в области ИИ, компанией NVIDIA, которая имеет чипы H100 и H200 на базе архитектуры Hopper и уже анонсировала ее преемника Blackwell, запуск которого не ожидается в ближайшее время. Согласно текущим прогнозам, Gaudi3 будет в 1,7 раза быстрее в обучении по сравнению с H100 (от 1,4 до 1,7 раза в зависимости от используемой большой языковой модели). Однако когда дело доходит до скорости вывода, фактическая производительность будет варьироваться: иногда она будет ниже (на 10 %), а иногда - выше на 70 %. Что касается энергоэффективности, то Gaudi3, как сообщается, в 1,2-2,3 раза эффективнее, измеряется количеством токенов в секунду на карту в расчете на ватт.
Intel явно стремится сравняться с NVIDIA или превзойти ее, но никаких цифр для предложений AMD Instinct, в которых уже анонсированы ускорители MI300A/X, не приводится.
Первые образцы Gaudi3 будут предоставлены партнерам в первой половине 2024 года. Однако больших объемов следует ожидать не раньше второй половины этого года. На данный момент сторонние бенчмарки отсутствуют, поэтому во всем приходится полагаться на слова Intel.
В этой теме нет ответов
В данный момент, эту тему никто не просматривает