Мировой рынок HPC (High-Performance Computing) достиг $53,4 млрд в 2024 году (Hyperion Research). Национальные лаборатории, оборонные ведомства и корпоративные центры обучения искусственному интеллекту (ИИ) стимулируют спрос на печатные платы, работающие на абсолютном пределе коммерческих технологий PCB — где каждый интерфейс непрерывно работает на максимальной заявленной скорости, каждый компонент работает при устойчивой максимальной мощности (worst-case power), а ожидания надежности отражают инвестиции в системы стоимостью сотни миллионов долларов со сроком службы в десятилетие.
HPC — это не просто «более быстрые серверные вычисления». Операционный профиль принципиально отличается: облачный сервер обрабатывает независимые запросы с переменной нагрузкой и частыми периодами простоя; вычислительный блейд-сервер HPC поддерживает максимальную мощность в течение всего цикла моделирования — дни или недели без перерывов. Тепловая схема облачного сервера может полагаться на теплоемкость для поглощения кратковременных всплесков; блейд-сервер HPC должен постоянно отводить максимальный TDP (тепловой пакет), не полагаясь на усреднение рабочего цикла (duty-cycle averaging). Срок службы облачного сервера составляет 3-5 лет; система HPC представляет собой инвестиции на 7-12 лет, где поставка запасных плат на 10-м году является контрактным обязательством.
HILPCB производит печатные платы для HPC — с количеством слоев до 64 и точностью совмещения (registration) ±1,5 мил — для OEM-производителей систем, создающих вычислительные блейд-серверы, модули ускорителей, узлы хранения данных и инфраструктуру межсоединений (interconnect infrastructure). Они обеспечивают научные открытия и достижения в области ИИ в национальных лабораториях (Ок-Ридж, Аргонн, Сандия, CSCS, Юлих, RIKEN), исследовательских университетах, оборонных ведомствах и корпоративных центрах обучения ИИ на трех континентах.
Навигация по руководству
- Что делает печатную плату «HPC-Grade»
- Проектирование интерфейсов процессоров и ускорителей
- Пропускная способность памяти: подсистема, ограничивающая производительность
- Сетевые межсоединения со скоростью 400G/800G на порт
- Архитектура питания и охлаждения при непрерывной нагрузке
- Качество программ HPC и поддержка жизненного цикла
Что делает печатную плату «HPC-Grade»
Термин «HPC-Grade» (уровень высокопроизводительных вычислений) является конкретным и измеримым — он описывает печатные платы, спроектированные и изготовленные для выдерживания трех условий эксплуатации, которые отличают HPC от всех других категорий вычислений:Устойчивая работа на максимальной скорости. Каждый интерфейс — DDR5 со скоростью 5600+ МТ/с, PCIe Gen 5 со скоростью 32 ГТ/с, InfiniBand NDR на 400G — работает на максимальной пропускной способности часами или днями, без периодов простоя, на которые опирается потребительское и облачное оборудование для термоциклирования, усреднения мощности и усреднения частоты ошибок. Предельное раскрытие глазка (eye opening), прошедшее 60-секундный тест на соответствие (compliance test), может дать сбой через 72 часа непрерывной работы из-за температурного дрейфа, старения блока питания и диэлектрической абсорбции, смещающей рабочую точку канала.
Непрерывная тепловая нагрузка наихудшего сценария. TDP процессоров 300–500 Вт поддерживается бесконечно — в отличие от схемы «разгон, затем простой» (boost-then-idle), при которой в потребительских решениях теплоемкость используется для поглощения кратковременных всплесков. Система охлаждения HPC должна постоянно отводить максимальный TDP, с запасом на изменение температуры окружающей среды (30–45°C на входе в ЦОД) и старение компонентов в течение 10-летнего срока службы.
Увеличенный срок службы компонентов и материалов. 7–12 лет эксплуатации при наработке на отказ (MTBF) свыше 50 000 часов (5,7 лет между сбоями на каждую плату) — это требует снижения номинальных характеристик компонентов (derating), проверки стабильности материалов и надежности паяных соединений, в 2–3 раза превышающей стандартные уровни коммерческой квалификации.
Контрольные показатели производительности HPC
- Пропускная способность DDR5: 8–12 каналов постоянно работают на скорости 5600–6400 МТ/с, обеспечивая пропускную способность памяти 350–500 ГБ/с на сокет — ограничена качеством канала на плате, а не возможностями DRAM.
- Пропускная способность PCIe Gen 5: 128+ линий постоянно работают на скорости 32 ГТ/с, при этом каналы расширения памяти CXL 2.0 используют тот же физический уровень — требуются бюджеты потерь канала, оставляющие запас <2 дБ на производственные отклонения.
- InfiniBand NDR: 400G на порт (8×50G PAM4) постоянно поддерживается на скорости линии во время фаз связи MPI — качество канала печатной платы сети напрямую определяет эффективность масштабирования кластера (scaling efficiency).
- Плотность мощности: 300–500 Вт на процессор, 2–4 процессора на блейд-сервер, плюс память и ввод-вывод — общая мощность блейд-сервера составляет 1500–3000 Вт, отводимая с помощью прямого жидкостного охлаждения (DLC) или высокоскоростного принудительного воздушного охлаждения.
Проектирование интерфейсов процессоров и ускорителей
В системах HPC используются самые производительные из доступных корпусов процессоров: Intel Xeon Scalable (Sapphire Rapids/Granite Rapids с 4677+ контактами LGA), AMD EPYC (Genoa/Turin с 6096 контактами LGA), NVIDIA Grace (на базе ARM с кастомным BGA) и графические процессоры в форм-факторе OAM (модуль ускорителя OCP) с 6000+ соединениями BGA. Печатная плата должна обеспечить разводку (escape routing) всех силовых и сигнальных соединений от этих массивных корпусов, сохраняя целостность сигнала на самых быстрых линиях и подавая сотни ампер на контакты питания — и всё это одновременно на одной и той же площади платы.Проектирование интерфейса процессора
- Вывод сигналов из BGA высокой плотности: Корпуса с шагом 0,5–0,65 мм и 4000–6000+ выводами требуют применения технологии via-in-pad (переходное отверстие в контактной площадке) с просверленными лазером микропереходными отверстиями 0,075–0,1 мм в структуре HDI. Последовательное наращивание (Sequential build-up) с 2–3 слоями HDI на сторону обеспечивает полный вывод сигналов в пределах тени корпуса для структур с 20–28 слоями (возможность до 64 слоев для самых экстремальных дизайнов).
- Межсокетная трассировка: UPI 2.0 (Intel) на 16–24 ГТ/с и Infinity Fabric/GMI3 (AMD) на 32 ГТ/с перекрывают расстояния 150–250 мм между сокетами процессоров с вносимыми потерями (insertion loss) менее 8 дБ на частоте Найквиста — для этого требуются ламинаты с низкими потерями (Df < 0,003 на частоте 12 ГГц), обратно высверленные переходные отверстия (back-drilled vias) с остатком (stub) <6 мил и медь HVLP (Rz < 2,0 мкм) на всех сигнальных слоях в пути межсоединения.
- Интерфейс модуля ускорителя OAM: Форм-фактор модуля ускорителя OCP со стандартизированным краевым разъемом несет сигналы PCIe Gen 5 x16 и сигналы боковой полосы (sideband) — посадочное место (footprint) разъема и запретные зоны (keep-out zones) определяются спецификацией OCP, а целостность сигнала проверяется через полный канал от модуля до базовой платы (baseboard).
- Согласованный вывод питания и сигналов: Подача сотен ампер через слои из толстой меди (heavy copper) (внутренние слои 3-4 унции) должна сосуществовать с трассировкой сигналов с малым шагом в той же области платы — это самая геометрически ограниченная задача проектирования при создании плат для HPC, требующая чередования пар слоев питание/сигнал с тщательно управляемыми зонами переходов через отверстия (via transition zones).
Пропускная способность памяти: подсистема, ограничивающая производительность
Рабочие нагрузки HPC часто ограничиваются пропускной способностью памяти — научные симуляции с большими трафаретными операциями (stencil operations), обучение ИИ с массивными таблицами эмбеддингов (embedding tables) и аналитика данных, сканирующая многотерабайтные наборы данных, — всем им выгодна максимальная пропускная способность памяти. Подсистема памяти печатной платы должна поддерживать работу всех каналов DIMM на полной заявленной скорости для всех конфигураций заполнения — включая конфигурации 2DPC (2 DIMM на канал), которые системы HPC обычно используют для максимальной емкости, где запасы по времени (timing margins) значительно жестче, чем у 1DPC.Критическим отличием от проектирования памяти облачного сервера является постоянное использование (sustained utilization): контроллер памяти облачного сервера переключается между активными каналами по мере того, как рабочие нагрузки перемещаются между виртуальными машинами; вычислительный узел HPC загружает все каналы одновременно во время длительных моделей доступа к памяти уровня теста STREAM.
Проектирование подсистемы памяти
- Полноканальная маршрутизация DDR5: 8–12 каналов DDR5 на сокет со скоростью 5600–6400 МТ/с, каждый маршрутизируется с выравниванием (matching) байтовых линий ±1 мил и топологией fly-by, проверенной посредством моделирования IBIS-AMI в конфигурациях 1DPC и 2DPC. Выравнивание записи (write-leveling), выравнивание чтения (read-leveling) и синхронизация команд/адресов проверяются при всех поддерживаемых вариантах заполнения DIMM перед утверждением топологии.
- Выбор материалов для целостности сигнала: DDR5 со скоростью 5600+ МТ/с требует ламинатов с контролируемым импедансом с жестким допуском Dk (±3%) и известным тангенсом угла потерь (Df ≤ 0,008 на частоте 5 ГГц) для поддержания постоянного импеданса и синхронизации в производственных партиях. Партия ламината с отклонением Dk ±5% (стандартная спецификация) может сместить запасы по времени (timing margins) DDR5 на ±10%, что потенциально может привести к периодическим ошибкам (intermittent errors) при длительных рабочих нагрузках.
- LPDDR5 для компактных вычислительных модулей: Впаянная (soldered) LPDDR5 со скоростью 6400 МТ/с в форм-факторах Compute-on-Module (COM), использующая трассировку HDI с точностью совмещения ±15 мкм для корпусов BGA с шагом 0,5 мм — максимизация плотности памяти на вычислительных блейд-серверах и платах-ускорителях с ограниченным пространством.
- Инфраструктура ECC и RAS: Полная поддержка ECC с надлежащей маршрутизацией байтовой линии ECC (согласование синхронизации с линиями байтов данных), маршрутизацией шины I²C DIMM SPD (Serial Presence Detect) и сигналами RAS (надежность, доступность, удобство обслуживания) для отчетов об ошибках памяти и изъятия страниц (page retirement) — функций, от которых системы HPC зависят в плане обеспечения целостности многодневных симуляций.
Сетевые межсоединения со скоростью 400G/800G на порт
Сетевая производительность HPC определяет эффективность масштабирования — отношение достигнутой производительности к теоретическому максимуму по мере увеличения количества узлов. Современные межсоединения HPC (InfiniBand NDR на 400G, HPE Slingshot на 200G, Ethernet на 400G/800G на порт) используют топологии коммутаторов с высокой степенью ветвления (high-radix) и самыми быстрыми из доступных в коммерческом кремнии блоками SerDes.Печатная плата, передающая эти сигналы межсоединений, должна обеспечивать производительность канала на пределе возможностей органических подложек — и делать это стабильно в разных производственных партиях, поскольку один-единственный узел с недостаточным качеством соединения (link quality) снизит эффективность масштабирования всего кластера.
Проектирование плат межсоединений HPC
- Проектирование каналов портов 400G/800G: 8 линий 50G PAM4 (400G) или 100G PAM4 (800G) на порт с вносимыми потерями менее 4,5 дБ на частоте 26,5 ГГц (400G) или менее 3,5 дБ на частоте 56 ГГц (800G) — требуются диэлектрики со сверхнизкими потерями (ultra-low-loss) (Dk 3,0, Df < 0,0015 при 28 ГГц), медная фольга HVLP/RTF (Rz < 1,0 мкм) и стеклоткань с распределенными волокнами (spread-glass weave) для устранения эффекта переплетения стекловолокна (fiber weave effect) на частотах миллиметровых волн (mmWave).
- Маршрутизация ASIC коммутатора: Коммутационные микросхемы с высокой степенью ветвления (high-radix), имеющие 2000–4000+ контактов SerDes, требующие многослойной структуры HDI на 24–36 слоях (возможность до 64 слоев) для полного вывода сигналов, с оптимизацией импеданса отдельных линий посредством настройки антипадов (anti-pad tuning).
- Инжиниринг переходных отверстий на частотах 26,5–56 ГГц: Обратно высверленные переходные отверстия (back-drilled vias) с длиной остатка (stub length) <5 мил, проверенные 100% автоматизированным шлифом (cross-section) или измерениями во временной области. Глухие/скрытые (Blind/buried) переходные отверстия для переходов на внутренние слои, куда обратное сверление не может достать. На каждый переход отверстия на рабочей частоте Найквиста выделяется бюджет 0,5–2,0 дБ — что составляет 10–30% всего бюджета потерь канала, выделяемого на переход.
- Интерфейс разъема OSFP/QSFP-DD: Посадочные места корзин (cage footprints) с оптимизированной геометрией антипадов, поддерживающие возвратные потери (return loss) >20 дБ на частоте 26,5 ГГц при переходе с печатной платы на разъем. Непрерывность опорного плана (отсутствие разделений или щелей) (reference plane continuity) в пределах 2 мм от поля выводов разъема для предотвращения щелевого излучения (slot antenna radiation).
Архитектура питания и охлаждения при непрерывной нагрузке
Узлы HPC поддерживают максимальную мощность в течение всей вычислительной задачи — многодневного прогнозирования погоды, недельного обучения ИИ и вычислений молекулярной динамики в течение месяца, которые выполняются без периодов простоя. Этот профиль непрерывной нагрузки создает требования к теплоотводу и питанию, которые принципиально отличаются от облачных вычислений или вычислений потребительского уровня, где усреднение рабочего цикла (duty-cycle averaging) и теплоемкость (thermal capacitance) обеспечивают запас, которого в HPC просто не существует.Проектирование питания и охлаждения для непрерывной работы
- Архитектура тепловых переходных отверстий для устойчивого TDP: Массивы заполненных и закрытых переходных отверстий (filled and capped via arrays) под всеми тепловыделяющими компонентами (процессор, VRM, буферы памяти), с расчетом количества отверстий и шага для TDP каждого компонента — никаких общих шаблонов. Поля тепловых переходных отверстий процессора спроектированы для постоянной мощности 300–500 Вт, при этом тепловое сопротивление проверяется с помощью стационарной ИК-термографии (steady-state IR thermography) при номинальной мощности.
- Система питания из толстой меди (Heavy Copper Power Delivery): Внутренние медные полигоны весом 3–4 унции (oz), распределяющие ток процессора 500+ А, при этом общее сопротивление плоскости от выхода VRM до шарика корпуса процессора составляет менее 0,2 мОм — проверяется с помощью моделирования падения напряжения постоянного тока (DC IR drop simulation) с тепловой обратной связью (сопротивление увеличивается с температурой, что создает положительную обратную связь (positive feedback), которую необходимо учитывать при проектировании).
- Долговечность материалов при непрерывной тепловой нагрузке: Ламинаты с высокой температурой стеклования (High-Tg) (Tg ≥ 180°C, T288 > 30 мин), проверенные на протяжении более 10 000 часов при максимальной рабочей температуре (ускоренное испытание при 125°C) без измеримого ухудшения диэлектрической прочности (dielectric strength), адгезии (adhesion) или механических свойств — это гарантирует, что платы, произведенные сегодня, будут иметь идентичные характеристики после 10 лет непрерывной работы в HPC.
- Интеграция жидкостного охлаждения: Плоскостность (flatness) платы контролируется в пределах ±0,2% (более жесткие требования, чем стандартные ±0,75%), что обеспечивает работу холодных пластин прямого жидкостного охлаждения (DLC) на конфигурациях HPC с самой высокой мощностью — плоскостность проверяется с помощью 100% оптической профилометрии и документируется по серийным номерам для аттестации монтажа холодной пластины.
Качество программ HPC и поддержка жизненного цикла
Программы HPC — это многолетние обязательства по системным инвестициям, измеряемые сотнями миллионов долларов. Качество плат напрямую влияет на доступность системы, вычислительную пропускную способность и научные результаты. Инфраструктура качества, поддерживающая производство печатных плат для HPC, должна работать на уровне, который обычно ассоциируется с аэрокосмическими или оборонными программами — потому что финансовые последствия отказа платы (ежедневные сбои узлов, накладные расходы на контрольные точки/перезапуск (checkpoint/restart overhead), снижение пропускной способности для научных исследований) в системе с 50 000 узлов сопоставимы.Система обеспечения качества и жизненного цикла HPC
- Пакет квалификации первого образца (First-Article Qualification Package): Полная электрическая проверка (летающий щуп, граничное сканирование (boundary scan)), характеристика целостности сигнала (профилирование импеданса TDR, извлечение S-параметров до 67 ГГц, измерение глазка при 400G PAM4), тепловая характеристика под постоянной нагрузкой и проверка размеров (dimensional inspection), документированная в соответствии со стандартом AS9102 — пакет квалификационных данных служит эталоном для производства на протяжении всего жизненного цикла программы.
- Глубина производственного тестирования: Внутрисхемное тестирование (ICT) или тестирование «летающим щупом» (flying probe) (100% покрытие цепей), проверка граничным сканированием всех корпусов BGA/QFN, функциональное тестирование в рабочих условиях и 48–72-часовая термотренировка (burn-in) при повышенной температуре (окружающая среда 55°C) под синтетической вычислительной нагрузкой — нагружение механизмов ранних отказов перед отгрузкой, чтобы гарантировать, что развернутые платы прошли период ранней смертности (infant-mortality region).
- Поддержка прототипирования и разработки: Партии от 5 до 50 плат для проверки проекта и запуска системы (system bring-up) с обработкой инженерных запросов на изменение (ECO) в течение 48 часов — обеспечение быстрой итерации оборудования на критическом этапе отладки системы (system debug). Масштабирование «под ключ» (Turnkey scaling) до производственных объемов с идентичными параметрами техпроцесса.
- Непрерывность жизненного цикла в течение десятилетия: Производственная оснастка (tooling), данные CAM, утвержденные спецификации материалов (включая сертифицированные альтернативные источники для материалов, снятых с производства), профили ламинирования, программы сверления и рецептуры сборки поддерживаются и контролируются по версиям (version-controlled) в течение всего 7–12-летнего срока действия программы, обеспечивая производство запасных плат (spare board), расширение парка и поддержку ремонта на уровне компонентов на 10-м году эксплуатации без необходимости повторной квалификации (re-qualification).
Часто задаваемые вопросы (FAQ) о печатных платах для высокопроизводительных вычислений (HPC)
Как вы предотвращаете диэлектрический пробой (dielectric breakdown) при непрерывной нагрузке процессора 500 Вт?
В платах для HPC используются ламинаты с высокой температурой стеклования (High-Tg) (Tg ≥ 180°C), предназначенные для длительной работы при высоких температурах. Мы тестируем эти материалы более 10 000 часов при ускоренных температурах (accelerated temperatures), чтобы убедиться, что диэлектрическая прочность и механические свойства не ухудшатся в течение десятилетия непрерывной круглосуточной вычислительной нагрузки.
Почему допуск Dk (диэлектрическая проницаемость) так критичен для каналов памяти DDR5?
При скоростях DDR5 (5600+ МТ/с) стандартное изменение Dk на ±5% смещает запасы по времени (timing margins) достаточно, чтобы вызвать периодические ошибки памяти. Мы используем ламинаты с жестким допуском Dk (±3% или лучше), чтобы поддерживать стабильные импедансы и время прохождения сигнала (flight times) по всем каналам DIMM.
Как плоскостность печатной платы (PCB flatness) влияет на прямое жидкостное охлаждение (DLC) в узлах HPC?
Прямое жидкостное охлаждение опирается на идеальное соединение холодных пластин (cold plates) с корпусами процессоров. Если печатная плата изгибается более чем на ±0,2% (что строже стандартных ограничений IPC), качество контакта термоинтерфейсного материала (TIM) ухудшается, создавая горячие точки (hotspots), которые заставляют процессор снижать частоту (thermal throttle), что снижает общую производительность кластера HPC.