Суперкомпьютеры доводят вычислительное оборудование до абсолютных физических пределов: десятки тысяч процессорных узлов, каждый из которых работает на максимальной мощности и тактовой частоте, объединенных сетями, пропускающими петабиты в секунду (совокупная пропускная способность). Самые быстрые системы в мире — Frontier в Ок-Ридже (1,2 Эфлопс), Aurora в Аргонне (1,0 Эфлопс) и LUMI в финском центре CSC — оснащены печатными платами (PCB), которые одновременно работают на экстремальных скоростях передачи сигналов (112G PAM4 при 56 ГГц), обладают колоссальной плотностью мощности (>1500 Вт на блейд) и требуют сложнейшего термоуправления (прямое жидкостное охлаждение с температурой на входе 25°C), функционируя под постоянной нагрузкой годами, без возможности обслуживания отдельных плат.
Печатная плата для суперкомпьютеров, находящаяся внутри каждого вычислительного блейд-модуля (compute blade), модуля сетевого коммутатора и подсистемы ввода-вывода (I/O), — это не просто высокопроизводительная серверная плата. Она работает на пределах производственных возможностей, когда те же допуски, которые обеспечивают комфортный запас надежности на стандартных платах, здесь становятся факторами, снижающими выход годных (yield-limiting factors). Точность совмещения слоев (layer registration), подходящая для 16 слоев, неприемлема для 28. Допуск по импедансу (impedance tolerance), проходящий тесты на 10 ГГц, вызывает сбои связи на 56 ГГц. Толщина меди (copper weight), достаточная для 300 Вт, приводит к тепловому пробою (thermal runaway) при 1500 Вт.
HILPCB производит печатные платы для суперкомпьютеров с количеством слоев до 64 для поставщиков систем, создающих машины следующего поколения — петафлопсного и эксафлопсного классов. Мы обслуживаем программы национальных лабораторий и оборонных ведомств в США, Европе, Японии, а также развивающиеся проекты HPC на Ближнем Востоке и в Юго-Восточной Азии.
Навигация по меню
- Проектирование печатных плат эксафлопсного класса: за пределами обычных ограничений
- Прямое жидкостное охлаждение на уровне платы
- Система питания для вычислительных блейд-модулей 1500+ Вт
- Платы сетевых коммутаторов High-Radix с поддержкой 112G PAM4
- Производство на грани технологических возможностей
- Десятилетняя поддержка жизненного цикла для национальных программ
Проектирование печатных плат эксафлопсного класса: за пределами обычных ограничений
Эксафлопсный суперкомпьютер (10¹⁸ FLOPS) содержит от 10 000 до 100 000 вычислительных узлов, соединенных через общую сеть с совокупной бисекционной пропускной способностью (aggregate bisection bandwidth), превышающей 1 Пбит/с. В системе Frontier (Ок-Ридж) задействовано 9408 вычислительных узлов, каждый из которых содержит центральный процессор AMD Trento (280 Вт) и четыре графических процессора AMD MI250X (по 560 Вт) на единой печатной плате блейда, рассеивающей в сумме более 2500 Вт. Печатная плата каждого узла работает на грани возможностей коммерческого кремния, поддерживая при этом надежность в масштабах всего парка, где статистическая вероятность сбоя — это ежедневная реальность.Проектные задачи, отличающие печатные платы суперкомпьютеров от всех остальных вычислительных категорий, не являются лишь постепенным расширением требований к серверным платам — это задачи принципиально иного, качественного уровня:
- Скорости передачи сигналов на физических пределах подложки: Межсоединения (interconnects) нового поколения переходят на стандарт 112G PAM4 на одну линию (lane), а 224G PAM4 уже появляется в дорожных картах. Это требует каналов с вносимыми потерями (insertion loss) ниже 12 дБ на частоте Найквиста (Nyquist) 56 ГГц, что приближается к фундаментальному минимуму диэлектрических потерь органических подложек для печатных плат. На таких частотах даже медная фольга с ультранизким профилем (HVLP) при Rz < 1,0 мкм вносит измеримые потери в проводнике, а стандартное армирование стеклотканью создает периодические колебания импеданса (эффект плетения стекловолокна, fiber weave effect), которые необходимо компенсировать с помощью трассировки под углом к волокнам (fabric skew routing) или применения ламинатов с распределенным (расплющенным) стекловолокном (spread-glass).
- Обязательное жидкостное охлаждение: Блейд-серверы, рассеивающие 1500–2500 Вт, невозможно охладить воздухом при любой практически допустимой скорости воздушного потока. Прямое жидкостное охлаждение с "холодными пластинами" (cold plates), контактирующими с крышками процессоров (а все чаще — и с самой поверхностью печатной платы), предъявляет требования к плоскостности (flatness) платы, контролю конденсации и быстрым термоциклам, которые не встречаются ни в одной системе с воздушным охлаждением.
- Математика надежности в масштабах автопарка (Fleet-Scale): При 50 000 узлов и MTBF (среднее время наработки на отказ) узла в 500 000 часов сбой узла происходит примерно каждые 10 часов. Надежность на уровне платы напрямую определяет доступность системы (system availability) — улучшение MTBF платы на 10% означает увеличение стабильной вычислительной пропускной способности всей машины на 10%.
- Обязательства по обслуживанию в течение десятилетия: Многомиллиардные инвестиции при сроках эксплуатации в 7–12 лет требуют печатных плат, которые останутся надежными задолго после истечения стандартных 3–5-летних жизненных циклов коммерческих продуктов. Это диктует необходимость подтверждения стабильности материалов в условиях ускоренного старения и заключения долгосрочных обязательств в цепочке поставок на производство запасных плат.
Прямое жидкостное охлаждение на уровне платы
Блейд-серверы суперкомпьютеров мощностью 1000–2500 Вт уже давно отошли от воздушного охлаждения. В современных эксафлопсных системах используется прямое жидкостное охлаждение (direct liquid cooling): "холодные пластины" подают техническую воду (facility water) температурой 25–35°C непосредственно к корпусам процессоров через коллекторы (manifolds), встроенные в вычислительный блейд. Это порождает требования к проектированию печатных плат, отсутствующие в любых других вычислительных сегментах, и в корне меняет взаимодействие печатной платы с её температурной средой.В системе с воздушным охлаждением печатная плата испытывает постепенные температурные градиенты и медленные тепловые переходные процессы (thermal transients). В системе прямого жидкостного охлаждения печатная плата сталкивается с резкими температурными градиентами (процессор разогрет до 85°C, а соседний участок платы в 20 мм от него — 30°C), стремительными тепловыми скачками (колебание температуры на 30°C менее чем за 5 секунд при смене рабочей нагрузки) и механической нагрузкой от крепежа холодных пластин, что создает постоянное напряжение сжатия (compressive stress) на поверхности платы.
Интеграция печатных плат для жидкостного охлаждения
- Точность установки холодных пластин (Cold Plate Mounting Precision): Прецизионные крепежные элементы (резьбовые вставки, направляющие штифты, подпружиненные механизмы фиксации) позиционируют контактную поверхность пластины с погрешностью ±25 мкм по отношению к крышке процессора. Требование к плоскостности (flatness) платы ужесточено со стандартных ±0,75% до ±0,2% от длины диагонали, чтобы обеспечить равномерный контакт термоинтерфейса (TIM). Это верифицируется с помощью 100% оптической профилометрии на каждой серийной плате.
- Управление конденсатом (Condensation Management): Охлажденная вода, температура которой ниже точки росы окружающей среды (что типично для тропического климата и во время переходных режимов охлаждения объекта), создает риск появления конденсата на поверхностях холодных пластин и смежных участках платы. Для предотвращения этого применяется выборочное влагозащитное покрытие (conformal coating: парилен или силикон) вблизи контактов с охлаждающими пластинами на ламинатах с высокой температурой стеклования (High-Tg), специально спроектированные дренажные каналы, отводящие конденсат от активных цепей, а также гидрофобная обработка поверхности открытых участков меди.
- Устойчивость к быстрым термоциклам (Rapid Thermal Cycling Endurance): При переходах рабочих нагрузок (от простоя к полной нагрузке и наоборот) жидкостное охлаждение вызывает перепады температуры платы на 30°C всего за 3–5 секунд. Материалы с высоким Tg (Tg ≥ 180°C, T260 > 60 мин, T288 > 30 мин) и низким коэффициентом теплового расширения (CTE) по оси Z (< 3,0%/°C ниже значения Tg) предотвращают расслоение (delamination), растрескивание гильз переходных отверстий (barrel cracking) и усталость переходных отверстий (via fatigue) в течение 100 000+ циклов за 10-летний срок службы системы.
- Проектирование зазоров под жидкостные коннекторы: Для быстроразъемных фитингов (quick-disconnect fittings, как правило, слепого соединения без капель) требуется зазор 25–35 мм по краю платы для размещения корпуса коннектора, прокладки шлангов и доступа сервисного инструмента. Это отнимает ценное место на плате и накладывает ограничения на размещение компонентов по всей PCB. Подобные запретные зоны (keepout zones) должны устанавливаться на самом раннем этапе проверки принципиальной схемы, а не всплывать в процессе механической сборки.
Система питания для вычислительных блейд-модулей 1500+ Вт
Блейд-серверы суперкомпьютеров с конфигурациями следующего поколения (два центральных процессора (CPU) по 350 Вт каждый плюс четыре графических ускорителя (GPU) по 500 Вт каждый, а также память и порты ввода-вывода) потребляют в сумме более 2700 Вт, которые преобразуются из мощности 48 В шины в несколько напряжений ядра (core voltage) до 1 В (sub-1V) непосредственно на печатной плате блейда. Эта концентрация мощности превышает показатели любых других коммерческих применений печатных плат в 3–5 раз, создавая такую плотность тока, которая требует подходов к распределению питания (power delivery), заимствованных из промышленной силовой электроники, а не из традиционных серверных архитектур.При таких уровнях мощности резистивные потери (resistive loss) в медных полигонах печатной платы — это не просто вопрос эффективности, это проблема тепловой стабильности. Преобразование 48 В в 0,75 В при силе тока 500 А выделяет 375 Вт в нагрузке, но даже сопротивление полигона (plane resistance) в 0,5 мОм добавит 125 Вт потерь I²R, распределенных по меди, что вызывает локальный нагрев, который, в свою очередь, еще больше увеличивает сопротивление по принципу положительной обратной связи (positive feedback loop).
Экстремальная архитектура системы распределения питания
- Прямое преобразование от 48 В к нагрузке (48V Direct-to-Load Conversion): Исключение промежуточной шины 12 В снижает потери на распределение в 4–6 раз и сечение кабеля в 16 раз. Блейд-платы несут конвертеры "48V-to-Vcore" (обычно "48V-to-1V", использующие двухступенчатую архитектуру: 48V-to-8V LLC + 8V-to-Vcore многофазный понижающий преобразователь / multiphase buck) с трассировкой, спроектированной для высоковольтных переходных процессов коммутации (звон / ringing 48 В на 50–100 МГц), на выделенных слоях питания в многослойных платах с соответствующим путем утечки (creepage distance).
- Сильноточные сети из толстой меди (Heavy Copper Current Networks): Ток процессора 600+ А при 0,75 В требует сопротивления полигона ниже 0,2 мОм. Это достигается за счет полигонов из толстой меди (4–6 унций) минимальной шириной 50 мм, множества параллельных межслойных переходов (40+ переходных отверстий (vias) на каждый переход питания) между слоями и минимизации межслойных переходов между выходом VRM (Voltage Regulator Module) и шариками питания корпуса процессора.
- Динамическая характеристика по напряжению (Dynamic Voltage Response): Распределенная развязка (distributed decoupling) с использованием конденсаторов с ультранизким эквивалентным последовательным сопротивлением (ESL) (LICC или MLCC с обратной геометрией), размещаемых на основе полноволнового моделирования импеданса. Это обеспечивает удержание напряжения ядра (core voltage) в пределах ±5 мВ во время переходных процессов на уровне 300 А/мкс, характерных для событий запуска ядер GPU. Данные процессы протекают на 50% быстрее, чем при переходах нагрузки CPU, что требует пропорционально меньшей индуктивности в системе распределения питания (PDN).
- Тепловая интеграция полигонов питания (Power Plane Thermal Integration): Распределение полигонов питания из толстой меди координируется с размещением термических переходных отверстий (thermal via). Медные слои (4–6 унций) выполняют одновременно функции распределения питания и поперечного отвода тепла (heat spreading). Однако разрезы полигонов (plane splits), необходимые для изоляции доменов напряжений, создают тепловые барьеры, которые должны быть преодолены при помощи выделенных массивов тепловых переходных отверстий.
Платы сетевых коммутаторов High-Radix с поддержкой 112G PAM4
Для сетей межсоединений (interconnect networks) суперкомпьютеров используются 64–128-портовые коммутаторы с высокомощными топологиями High-Radix (Dragonfly, Fat-tree, Torus), которые минимизируют "диаметр" сети (network diameter) и задержку в "хвосте" (tail latency). Плата коммутатора маршрутизирует 64+ портов трафика 400G/800G через центральную микросхему (ASIC), что делает её одним из самых сложных [высокоскоростных (high-speed) проектов печатных плат](/products/high-speed-pcb) в мире, где каждый квадратный миллиметр площади платы несет сигнальные трассы, работающие на частотах, при которых подложка (substrate) платы приближается к своим фундаментальным пределам потерь.В 128-портовом ASIC коммутатора 400G используется около 4096 линий (lanes) SerDes со скоростью 112G PAM4 (для портов 800G постепенно внедряется 224G PAM4), и для каждой из них требуется канал, отвечающий спецификациям IEEE 802.3ck по вносимым (insertion loss) и возвратным потерям (return loss). Трассировка 4096 дифференциальных пар от одного ASIC к торцевым (edge-mounted) разъемам OSFP на плате размером примерно 400×500 мм является самой жесткой (с точки зрения геометрии) задачей высокоскоростной трассировки в коммерческой электронике.
Проектирование и производство плат коммутаторов
- Массивная плотность SerDes (Massive SerDes Density): 4096 дифференциальных пар на скорости 112G PAM4 расходятся от корпуса BGA коммутатора ASIC (более 7000 шариков с шагом 0,8 мм) к смонтированным на краях корзинам OSFP/QSFP-DD112 на 24–36-слойных платах с трассировкой (trace/space) 3/3 мил на внутренних сигнальных слоях. Это требует применения структур HDI с последовательным прессованием (sequential lamination) для вывода сигналов (escape routing) от ASIC.
- Бюджет потерь на частоте 56 ГГц (Loss Budget at 56 GHz): Общие потери в канале должны быть ниже 25 дБ на частоте Найквиста (Nyquist) 56 ГГц, при этом вклад самой печатной платы (PCB) должен составлять <8 дБ. Это требует применения материалов со сверхнизкими потерями (Ultra-Low-Loss: Dk 3.0, Df < 0.0015 при 28 ГГц, таких как Panasonic Megtron 7 или аналогов), медной фольги HVLP/RTF (Rz < 1,0 мкм) и стеклоткани с распределенным (расплющенным) или механически сбалансированным плетением (spread-glass / mechanically balanced weave) для устранения эффекта плетения стекловолокна (fiber weave effect) на 56 ГГц.
- Проблема теплоотвода коммутатора ASIC (Switch ASIC Thermal Challenge): 300–600 Вт тепла, выделяемого ASIC-коммутатором, концентрируется на площади кристалла (die) 50×50 мм. Это влечет за собой сложности в системе питания и отводе тепла, сопоставимые с картами-ускорителями GPU. Дополнительное ограничение заключается в том, что ASIC со всех четырех сторон окружен плотной высокоскоростной трассировкой, которая не позволяет разместить массивы тепловых переходных отверстий (thermal via arrays).
- Точность обратного высверливания (Back-Drill Precision) на 56 ГГц: Длина "отростков" (stubs) переходных отверстий (vias) контролируется на уровне <5 мил (0,127 мм) с помощью обратного высверливания с лазерным совмещением (laser-registered back-drilling), с обязательной 100% проверкой глубины при помощи автоматизированного микрошлифования (cross-sectioning). На частоте 56 ГГц каждый мил лишней длины "отростка" (stub) создает четвертьволновую резонансную "зарубку" (quarter-wave resonance notch), которая сокращает запас (margin) по каналу примерно на 1 дБ.
Производство на грани технологических возможностей
Печатные платы для суперкомпьютеров требуют производственных процессов, способных стабильно функционировать с задокументированным индексом воспроизводимости (Cpk) > 1,33 для тех параметров, по которым в стандартном производстве значения Cpk составляют 1,0 и ниже. Разница между этими уровнями возможностей определяет, составит ли выход годных (yield) 28-слойных плат 90%+ (коммерчески оправдано) или 60% (коммерческая катастрофа для плат стоимостью $800+ за штуку без компонентов).Процессы производства оборудования для суперкомпьютерных систем в HILPCB характеризуются и отслеживаются на уровне повышенной точности — данные по возможностям процесса (process capability data) доступны клиентам для аудита (ознакомления) в рамках квалификации программы (program qualification).
Критически важные параметры производства
- Совмещение слоев (Layer Registration): ±1,5 мил в 24–36-слойных сборках последовательного прессования (с возможностью увеличения до 64 слоев), верифицируется путем измерения рентгеновской (X-ray) мишени совмещения при каждом цикле прессования. Это предотвращает смещение между переходным отверстием (via) и площадкой (pad) при выводе (escape routing) для BGA-корпусов с шагом 0,5 мм.
- Контроль импеданса (Impedance Control): ±5% (по сравнению со стандартными ±10%). Это требует травления (etching), контролируемого SPC (статистическое управление процессами), с компенсацией коэффициента травления в реальном времени, ламинирования с контролем толщины диэлектрика ±0,5 мил, а также проверки веса (толщины) поступающей медной фольги для каждой партии.
- Точность совмещения при обратном высверливании (Drill Registration for Back-Drilling): ±1,5 мил для переходных отверстий с обратным высверливанием (back-drilled vias), чтобы обеспечить длину "отростка" (stub length) <5 мил — используется сверление с регистрацией через систему машинного зрения (vision-system-registered drilling) с обратной связью (feedback control) по глубине сверления, а также статистическая верификация через автоматизированное измерение микрошлифов (cross-section measurement).
- Поверхностный монтаж (SMT) для компонентов со сверхмалым шагом (Ultra-Fine-Pitch): Установка BGA с 7000+ шариками с точностью ±15 мкм и 100% рентгеновским контролем (X-ray inspection) после оплавления (post-reflow). Это необходимо для подтверждения того, что объем пустот (voiding) составляет менее 20% на один шарик и <15% на тепловых площадках (thermal pads) — требования жестче, чем стандарт JEDEC (лимит 25%), что обеспечивает неизменно высокую эффективность теплового интерфейса (thermal interface).
Десятилетняя поддержка жизненного цикла для национальных программ
Жизненный цикл программ создания суперкомпьютеров составляет 3–5 лет от стадии проектирования до развертывания; сроки операционной эксплуатации (operational lifetimes) достигают 7–12 лет, а общий объем инвестиций в программу часто превышает 500 миллионов долларов. Качество печатных плат и непрерывность производства (manufacturing continuity) напрямую определяют окупаемость этих инвестиций национального масштаба. Если производитель (fabricator) не сможет выпустить идентичные запасные платы спустя 8 лет после начала серийного производства, это повлечет за собой дорогостоящий редизайн всей системы (system redesign) или её преждевременный вывод из эксплуатации (premature retirement).Структура жизненного цикла программы (Program Lifecycle Framework)
- Квалификация первой партии (First-Article Qualification): Полная верификация целостности сигналов (SI - Signal Integrity): профилирование импеданса методом TDR, экстракция S-параметров до 67 ГГц, измерение "глазковой диаграммы" (eye diagram) на 112G PAM4. Также проводится тепловая характеризация в условиях жидкостного охлаждения и контроль геометрических размеров, документированный в соответствии со стандартом AS9102. В дальнейшем этот пакет квалификационных данных (qualification data package) становится эталоном производства на весь срок действия программы.
- Изготовление прототипов (Prototype Builds): От 5 до 50 плат для первичного запуска системы (bring-up), разработки микропрограммного обеспечения (firmware) и интеграционных испытаний. Инженерные изменения (ECO - Engineering Change Orders) вносятся в течение 48 часов, что позволяет быстро проводить итерации (rapid iteration) на критически важном этапе отладки системы (system debug phase).
- Сертификация плоскостности для жидкостного охлаждения (Flatness Certification for Liquid Cooling): 100% верификация плоскостности (flatness) платы до ±0,2% с использованием оптической профилометрии — все данные документируются и привязываются к индивидуальным серийным номерам. Результаты плоскостности предоставляются в машиночитаемом формате для оценки пригодности монтажа (mounting qualification) охлаждающей пластины (cold plate).
- Сохранение (фиксация) материалов и процессов на срок 10+ лет (10+ Year Material and Process Lock): Производственная оснастка, спецификации утвержденных материалов (включая альтернативных поставщиков (alternate sources) для материалов, снимаемых с производства / EOL), температурные профили прессования (lamination profiles) и программы сверления сохраняются на протяжении всего срока действия программы. Это дает возможность производить запасные платы (spare board) и выполнять расширение систем (system expansion) спустя 8–12 лет после первичной поставки без необходимости прохождения повторной квалификации.
Программы производства печатных плат для суперкомпьютеров от HILPCB
HILPCB производит печатные платы для суперкомпьютеров, обслуживая поставщиков (вендоров) систем, занимающихся созданием машин петафлопсного и эксафлопсного классов. Наши решения задействованы в программах национальных лабораторий, оборонных ведомств и научно-исследовательских институтов на трех континентах.
Наши возможности включают в себя создание конструкций HDI с последовательным наращиванием слоев (до 64), точностью совмещения (registration) ±1,5 мил, применение материалов со сверхнизкими потерями для сигналов 112G PAM4 на частоте 56 ГГц (где вклад (contribution) канала платы составляет <8 дБ), внедрение полигонов из толстой меди 4–6 унций (oz) для системы распределения питания блейдов мощностью 1500+ Вт (сопротивление полигона менее 0,2 мОм). Также мы реализуем интеграцию с системами жидкостного охлаждения (подтвержденная плоскостность ±0,2% методом оптической профилометрии), переходные отверстия с обратным высверливанием (глубина "отростка" <5 мил со 100% контролем) и обеспечиваем производство 3-го класса по стандарту IPC-6012 с обязательствами по сохранению материалов и процессов на протяжении всего жизненного цикла программы (десятилетия).
Частые вопросы (FAQ) о печатных платах для суперкомпьютеров
Почему плоскостность (flatness) печатных плат так строго контролируется в вычислительных блейд-модулях суперкомпьютеров?
Вычислительные блейд-модули эксафлопсного класса рассеивают от 1500 до 2500 Вт мощности и зависят от систем прямого жидкостного охлаждения (direct liquid cooling), где холодные пластины (cold plates) должны идеально прилегать к процессорам. Стандартные допуски плоскостности печатных плат (±0,75%) допускают деформацию (warpage), способную нарушить контакт с теплопроводящим материалом (TIM - Thermal Interface Material). Мы обеспечиваем плоскостность ±0,2%, чтобы гарантировать эффективный теплообмен и предотвратить тепловой троттлинг (thermal throttling).
Как сопротивление полигона (плоскости) питания (power plane resistance) влияет на вычислительный блейд мощностью 1500 Вт?
При подаче сотен ампер с напряжением ниже 1 В (sub-1V) даже сопротивление полигона (plane resistance) в 0,5 мОм может генерировать более 100 Вт паразитного тепловыделения (I²R heating) внутри самой печатной платы. Чтобы минимизировать потери на распределение, требуются полигоны из толстой меди (heavy copper planes) весом 4-6 унций (oz), оптимизированные переходные отверстия (via transitions) и архитектура прямого питания нагрузки 48 В (48V direct-to-load architecture).
Что такое "эффект плетения стекловолокна" (fiber weave effect) и как он влияет на сигналы 112G PAM4?
На частотах Найквиста (Nyquist frequencies) в 56 ГГц микроскопические зазоры между пучками стекловолокна в стандартном материале FR-4 создают периодические вариации импеданса при пересечении их сигнальной трассой (signal trace). Для предотвращения данного эффекта в платах межсоединений эксафлопсного класса применяются расплющенные (распределенные) механическим способом нити стеклоткани (mechanically spread-glass weaves) и диэлектрики со сверхнизкими потерями, что позволяет сохранить идеальную целостность сигнала (signal integrity).