Промышленные материнские платы для серверов ИИ: преодоление проблем высокоскоростной межкомпонентной связи и бэкплейнов

Инженерное руководство по согласованию материнских плат и объединительных панелей серверов ИИ: распределение потерь в канале, геометрия переходных отверстий, расчет PDN и допуски производства.

Материнская плата или объединительная панель (бэкплейн) сервера искусственного интеллекта может быть утверждена в производство только тогда, когда модели высокоскоростных каналов, бюджеты системы распределения питания (PDN) и производственные чертежи описывают одну и ту же физическую печатную плату. Диэлектрик с ультранизкими потерями не способен компенсировать запас затухания, уже исчерпанный корпусами микросхем и разъемами. Точно так же наращивание толщины меди не исправит расчет силовых цепей, выполненный для неверного уровня напряжения. Техническая экспертиза проекта обязана зафиксировать эти границы до утверждения трассировки и передачи файлов на фабрику.

Определение «промышленный класс» требует четкой инженерной конкретизации: рабочая среда, условия воздушного или жидкостного охлаждения, расчетный срок службы, механические нагрузки и стандарты приемки. Это не автоматический уровень сертификации платы. Общие принципы проектирования изложены в руководстве по проектированию объединительных плат серверов ИИ; практические аспекты прототипирования и мелкосерийного выпуска описаны в статье о производстве мелкосерийных плат для серверов ИИ. В данном материале подробно рассмотрены аудит электрических бюджетов и верификация параметров перед запуском платы в серию.

Какие инженерные границы обязана зафиксировать экспертиза проекта?

Необходимо четко разграничивать функционал материнской платы, несущей платы ускорителей (accelerator baseboard), высокоскоростной объединительной панели и системы распределения питания, даже если аппаратно они объединены в общую конструкцию. Пассивная объединительная панель не обязательно коммутирует весь силовой ток ускорителей, а общая номинальная мощность серверной стойки не указывает ток в конкретном слое металлизации.

Объект экспертизы Фиксируемая инженерная граница Отклонять или возвращать на доработку, если…
Высокоскоростной канал Опорные слои передатчика и приемника, корпуса микросхем, разъемы, кабели, ретаймеры и участки проводников на плате Предельный суммарный бюджет затухания тракта (Full-channel dB) ошибочно выдается за доступный бюджет проводников самой платы
Модель диэлектрика Точная марка смолы с суффиксом, тип стеклоткани, содержание смолы, структура ядро/препрег, спрессованная толщина и профиль шероховатости меди Для обоснования дальности передачи сигнала приводится лишь общее название серии диэлектрика или единичное значение Df
Межслойный переход (Via) Рабочие слои, неиспользуемые контактные площадки (Unused Pads), антипады и пути протекания возвратного тока через земляные отверстия Глубина обратного высверливания (Backdrilling) задана без указания целевого слоя или допустимого допуска на остаточный шлейф (Stub)
Силовая сеть (PDN) Домен напряжения, каскады преобразования DC-DC, постоянный ток нагрузки, динамический бросок тока и возвратные пути Суммарная мощность сервера приписана силовой шине платы без структурной схемы распределения токов
Технологические ограничения Совокупность размеров панели, структуры слоев, толщины меди, параметров сверления, металлизации и контроля импеданса Предельные единичные возможности оборудования формально объединяются в проект без учета реального выхода годных
Критерии приемки Спецификации испытаний голых плат, качества монтажа, пассивных параметров каналов и системных тестов с зонами ответственности В качестве подтверждения соответствия стандартам PCIe предъявляются лишь данные TDR-купонов или базовый электроконтроль

Физический смысл скорости передачи данных, символьной скорости и частоты Найквиста в PCIe

При скорости передачи 64 GT/s спецификация PCIe 6.0 переходит на четырехуровневую амплитудно-импульсную модуляцию PAM4. Каждый передаваемый символ кодирует 2 бита информации, поэтому символьная скорость составляет 32 GBd, а фундаментальная частота Найквиста — 16 ГГц. Для сравнения, интерфейс PCIe 5.0 работает со скоростью 32 GT/s с классической модуляцией NRZ и имеет ту же частоту Найквиста 16 ГГц. Однако совпадение частоты Найквиста не делает одинаковыми требования к запасу по шуму, линейности тракта, алгоритмам эквализации (CTLE/DFE) и контролю джиттера.

Спецификация интерфейса Тип модуляции Символьная скорость (Symbol Rate) Частота Найквиста
PCIe 4.0, 16 GT/s NRZ 16 GBd 8 ГГц
PCIe 5.0, 32 GT/s NRZ 32 GBd 16 ГГц
PCIe 6.0, 64 GT/s PAM4 32 GBd 16 ГГц

Данные соотношения строго соответствуют материалам PCI-SIG по внедрению PAM4 в PCIe 6.0. Частота Найквиста служит удобной базовой точкой для сопоставления потерь, но не является верхней границей частотного диапазона при трехмерном электромагнитном моделировании или аппаратных измерениях. Полоса анализа должна определяться стандартами интерфейса и характеристиками IBIS-AMI моделей микросхем.

Какая доля нормативного бюджета потерь в канале приходится на печатную плату?

Это зависит от топологии системы и опорных плоскостей. Потери в кремниевых подложках корпусов микросхем, в разъемах и платах расширения (AIC) расходуют значительную часть суммарного бюджета затухания задолго до того, как сигнал дойдет до проводников материнской платы.

Например, в типовом тракте PCIe 5.0 с бюджетом 32 dB, включающем системную плату и плату расширения (по данным Astera Labs), на проводники системной платы часто остается не более 16 dB на частоте Найквиста 16 ГГц. В архитектуре с пассивной объединительной панелью на саму объединительную плату обычно выделяется порядка 18 dB.

Эти общедоступные технические данные наглядно показывают структуру распределения бюджета потерь. Однако они не заменяют проектные спецификации Base/CEM, рекомендации разработчиков платформ и точные модели разъемов. Требуйте от инженера по целостности сигналов (SI) четкого описания портов, частотного диапазона и паразитных параметров каждого блока для сборки сквозной модели канала с едиными опорными плоскостями. Вносимые потери (Insertion Loss) необходимо анализировать в комплексе с возвратными потерями (Return Loss), перекрестными помехами (NEXT/FEXT) и модовой конверсией.

Какие параметры структуры слоев и материалов реально улучшают тракт?

Выбор диэлектрика и структуры слоев должен опираться на сквозное моделирование канала с учетом производственных допусков. Маркетинговое обозначение «low-loss» не является инженерной спецификацией, а низкое паспортное значение диэлектрической проницаемости (Dk) само по себе не гарантирует снижения общего затухания.

Фиксируйте точную марку фольгированного диэлектрика с суффиксом, тип стеклоткани (с расправленными нитями: 1067, 1078, 1086), процентное содержание смолы, структуру ядер и препрегов, спрессованную толщину диэлектрика, толщину готовой фольги и модель микрошероховатости меди (Cannonball-Huray). Значения Dk и Df должны содержать указание методики измерений, температуры и частоты (например, метод диэлектрического резонатора SPDR). Любая замена материала допускается только после верификации на электрической модели. Параметры производственной базы представлены в разделе производства высокоскоростных печатных плат.

Критические дифференциальные трассы должны располагаться вплотную к сплошным опорным плоскостям земли. При переходе сигнала с одного слоя на другой необходимо в непосредственной близости размещать возвратные земляные переходные отверстия для обеспечения непрерывности пути возвратного тока. Зазор между дифференциальными парами должен рассчитываться исходя из толщины диэлектрика и допустимого уровня перекрестных помех; эмпирическое правило «3W» не гарантирует соответствия стандартам. Механическая симметрия для предотвращения коробления должна соблюдаться без ущерба для электрических характеристик.

Финишное покрытие требует отдельного анализа, независимого от шероховатости фольги. Идеальная плоскостность иммерсионного золота по подслою никеля (ENIG) для монтажа компонентов не означает, что оно вносит меньшие потери на высоких частотах, чем горячее лужение (HASL). Как показано в руководстве Analog Devices по проектированию плат для диапазона мульти-ГГц, ферромагнитный подслой никеля с низкой проводимостью на сверхвысоких частотах за счет скин-эффекта приводит к заметному росту омических потерь. Моделируйте фактическое финишное покрытие для внешних микрополосковых линий и контактных площадок отдельно от внутренних симметричных полосковых линий.

Как оценивать контактные площадки, антипады и остаточные шлейфы переходных отверстий?

Контактные площадки и антипады оказывают противоположное влияние на паразитные параметры. Удаление неиспользуемых контактных площадок (Unused Pads) снижает паразитную емкость переходного отверстия. Увеличение диаметра антипада (выреза в земляном полигоне) снижает емкость на землю и повышает локальный импеданс отверстия. Однако чрезмерный вырез антипада разрушает пути возвратного тока и создает паразитные связи с соседними отверстиями, поэтому вся геометрия дифференциального перехода должна оптимизироваться в 3D электромагнитных симуляторах.

В руководстве Altera AN 529: Методы оптимизации переходных отверстий в высокоскоростных каналах (стр. 5–6) детально описана физика этих процессов и показана неприменимость сосредоточенных эквивалентных схем. Приведенные там исторические размеры нельзя переносить на PCIe 6.0 в качестве готовых правил. Разрабатывайте трехмерные модели реальных переходов с площадками, антипадами и земляными отверстиями, сопоставляя результаты расчетов с измерениями векторным анализатором цепей (VNA).

Для отверстий с обратным высверливанием (Backdrilling) на сборочном чертеже необходимо жестко задавать соединяемый слой, сторону сверления, диаметр сверла, максимально допустимую длину проводящего остаточного шлейфа (Stub), допуск по глубине сверления и минимальный зазор до последнего функционального слоя. Номинальная глубина без допусков не гарантирует ни удаления шлейфа, ни сохранности проводников на внутренних слоях.

Формула четвертьволнового резонанса наглядно демонстрирует, почему длина шлейфа сама по себе не определяет полосу пропускания. Для ненагруженного однородного разомкнутого шлейфа с эффективной относительной диэлектрической проницаемостью εeff = 4.0 оценка первой резонансной частоты имеет вид:

f ≈ (c / 4 × L × √εeff)

При длине остаточного шлейфа L = 10 mil = 0.254 мм и скорости света c = 299 792 458 м/с расчетное значение составляет около 147.5 ГГц. При L = 50 mil = 1.27 мм частота падает до 29.5 ГГц. Это теоретические значения для идеального случая. В реальной печатной плате емкость контактных площадок, межпроводниковая связь и потери в диэлектрике существенно сдвигают характеристики. Даже задолго до частоты резонанса емкостная нагрузка шлейфа вызывает отражения, достаточные для закрытия раскрыва глаза в PCIe 6.0.

Для разъемов с запрессовкой (Press-fit) строго соблюдайте требования производителей к диаметру готового металлизированного отверстия, толщине подслоя меди и допускам на толщину платы. Любое обратное высверливание обязано заканчиваться выше зоны упругого контакта запрессовываемого контакта.

Почему систему распределения питания (PDN) необходимо рассчитывать раздельно для каждой шины?

В серверах ИИ электропитание поступает через сложные цепочки: силовые шины (busbar) или высоковольтные кабели, силовые разъемы, массивные внутренние слои меди и многофазные импульсные преобразователи. Шина питания ядра GPU (Vcore) работает при напряжении ниже 1.0 В с токами в сотни и тысячи ампер, что представляет собой совершенно иной физический домен, чем промежуточные шины распределения 12 В или 48 В. Четко определяйте пути протекания токов перед расчетом сечения полигонов и количества переходных отверстий.

Рассмотрим пример распределения постоянной мощности 5 кВт через идеальную распределительную цепь. Пренебрегая потерями преобразования (I = P/U), при напряжении 12 В ток достигает 416.7 А, а при 48 В снижается до 104.2 А. Это токи в первичных цепях распределения, а не на локальной плате ускорителя. Реальный входной ток преобразователей зависит от их КПД и динамики регулирования.

Для локальной шины ядра процессора с напряжением 0.8 В, динамическим броском тока нагрузки 100 А (Δ I) и допустимой динамической просадкой напряжения 20 мВ (Δ U) расчетное целевое сопротивление (Target Impedance) составляет:

Ztarget = (Δ U / Δ I) = (0.020 В / 100 А) = 0.0002 Ω = 0.2 мΩ

Это целевой показатель для проектирования схемы развязки, а не полная спецификация кристалла. Предусматривайте раздельные запасы на статическую точность стабилизатора, омическое падение постоянного напряжения (IR drop) и пульсации. Инженерная методика Altera из руководства AN 958 по расчету целевого импеданса также базируется на строгих входных данных по допустимым пульсациям и броскам тока.

Не рассчитывайте на то, что одни лишь керамические конденсаторы поверхностного монтажа удержат столь низкий целевой импеданс в гигагерцовом диапазоне. Модули регуляторов напряжения (VRM), керамические SMD-конденсаторы, емкость полигонов платы, конденсаторы подложки корпуса и емкости на кристалле работают в смежных, перекрывающихся частотных диапазонах. Анализ граничных частот в AN 958 подробно объясняет физические ограничения, вызванные индуктивностью монтажа и растекания токов.

Используйте моделирование DC Drop для анализа падения постоянного напряжения, зон повышенной плотности тока и локального перегрева; динамический AC-анализ необходим для выявления антирезонансов и реакции на ступенчатую нагрузку. Учитывайте падение емкости керамики под постоянным смещением (DC Bias), ESR, ESL и паразитную индуктивность переходных отверстий до механического увеличения числа компонентов. Сечение и количество силовых отверстий рассчитывайте исходя из толщины меди в отверстии, равномерности распределения токов и условий охлаждения.

Каким образом тепловые и производственные ограничения влияют на согласование проекта?

Отвод тепла и механическая прочность определяют размещение компонентов, топологию полигонов меди, соосность разъемов и точки крепления платы. Контролируйте тепловые карты кристаллов, скорость воздушного потока или прилегание жидкостных охлаждающих пластин, а также усилия затяжки крепежа. Термопереходные отверстия и впрессованные медные вставки (copper coins) обеспечивают надежный теплоотвод, но не заменяют первичную систему охлаждения и не влияют на динамические параметры цепей питания.

Температура стеклования (Tg) отражает термодинамический фазовый переход полимера и не является максимальной температурой непрерывной эксплуатации собранной платы. Сопоставляйте Tg, температуру деструкции (Td), коэффициент температурного расширения (CTE по оси Z) и время до расслоения (T288/T300) с профилями пайки оплавлением и профилем эксплуатации изделия. Формальное требование «Tg ≥ 170°C» не дает абсолютной гарантии отсутствия расслоений в сложных многослойных структурах.

Технологические возможности HILPCB по производству многослойных плат охватывают структуры до 64 слоев с контролем волнового сопротивления ±5%. Эти показатели определяют границы технологических возможностей фабрики, но не означают, что предельные размеры, сверхтонкие проводники, толстая медь и глубокие микроотверстия могут быть произвольно объединены в одном изделии. При заказе объединительных плат (бэкплейнов) согласуйте стек, допуски на толщину, сверление, запрессовку и тест-купоны. При коммутации сверхвысоких токов применяется технология толстомедных плат (Heavy Copper), параметры травления и заполнения смолой для которой согласовываются до запуска.

Какие свидетельства должны входить в состав RFQ и отчета первого изделия (FAI)?

Требуемое инженерное свидетельство Данные, предоставляемые заказчиком Пункты официального согласования с производителем
Описание структуры слоев (Stackup) Утвержденный стек, таблица импедансов, точные марки диэлектриков/фольги и карта слоев Фактическое наличие материалов, перечень допустимых замен и условия повторного моделирования
Спецификация переходных отверстий Таблица сверления, соединяемые слои, допуски на глубину backdrill и чертежи отверстий press-fit Технологически реализуемая геометрия, места изготовления микрошлифов и контроль остаточных шлейфов
Питание и механические параметры Карта распределения силовых шин, тепловые потоки, интерфейсы охлаждения и допуски на коробление Толщина меди и гальванических покрытий, усилители жесткости и протоколы термомеханических измерений
Приемка несмонтированных плат Стандарт IPC, редакция, класс изделия, методы электрического тестирования, купоны и нормы браковки 100% электроконтроль «летающими щупами», протоколы TDR-измерений, шлифы и объем выборки
Верификация высокоскоростных каналов Описание портов, S-параметры, тестовые структуры, методы деэмбеддинга и требования к интерфейсам Закрепление ответственности за радиочастотные измерения, валидацию глазковых диаграмм и ревизии
Приемка монтажа и функционала Полные файлы BOM/CPL, спецификации компонентов, прошивки и инструкции по функциональному тестированию Покрытие контролем AOI/AXI, логи прошивки микросхем, протоколы фиксации дефектов и процедура ECO

В техническом задании на производство четко фиксируйте стандарт IPC, его редакцию, класс надежности (Class 2 или Class 3) и согласованные исключения. Одно лишь указание «для серверов» не переводит заказ автоматически в класс 3. Приемка голой печатной платы, контроль пайки узлов и сертификация соответствия спецификациям PCIe на уровне системы представляют собой три независимых этапа контроля. Контрольный купон импеданса подтверждает лишь параметры тестовой дорожки в условиях измерения; он не заменяет верификацию всего высокоскоростного тракта платы.

Программа испытаний на надежность должна строиться на реальном профиле эксплуатации изделия (Mission Profile). Задавайте конфигурацию образцов, параметры стрессовых нагрузок, число циклов и критерии отказа вместо формального требования проведения абстрактного набора климатических и CAF-тестов. Микрошлиф демонстрирует структуру металлизации в точке среза, но не заменяет электрические и ресурсные испытания всего изделия.

Направляйте утвержденные файлы проекта, структуры слоев, таблицы сверления и требования к приемке через нашу форму онлайн-запроса. Инженеры HILPCB проведут тщательный анализ DFM и подтвердят технологическую реализуемость до начала производства.

Часто задаваемые вопросы (FAQ)

Требуется ли для PCIe 6.0 частота Найквиста 32 ГГц?

Нет. При скорости 64 GT/s в стандарте PCIe 6.0 применяется модуляция PAM4 с символьной скоростью 32 GBd, что соответствует частоте Найквиста 16 ГГц. Однако запас по шуму и методы измерений существенно жестче, чем в PCIe 5.0 NRZ. При моделировании и тестировании полоса анализа должна охватывать высшие гармоники за пределами 16 ГГц.

Можно ли все 36 dB бюджета потерь PCIe 5.0 выделить на проводники материнской платы?

Нет. Значение 36 dB является полным сквозным бюджетом от кристалла передатчика до кристалла приемника. Значительную его часть расходуют корпуса микросхем, разъемы и платы расширения. В стандартной архитектуре на проводники материнской платы обычно остается не более 16 dB затухания.

Уменьшает ли уменьшение диаметра антипада паразитную емкость переходного отверстия?

Как правило, наоборот. Увеличение зазора антипада в земляном полигоне снижает паразитную емкость на землю и повышает импеданс перехода. Уменьшение антипада емкость увеличивает. Для эффективного снижения емкости следует удалять неиспользуемые контактные площадки (Unused Pads).

Гарантирует ли остаточный шлейф (stub) длиной 10 mil (0.254 мм) соответствие PCIe 6.0?

Нет. Влияние шлейфа зависит от общей геометрии перехода, диэлектрической проницаемости и запасов тракта. Шлейф вызывает паразитные емкостные отражения задолго до достижения частоты резонанса. Необходимо задавать технологический допуск на глубину и подтверждать переход трехмерным моделированием.

Достаточно ли суммарной мощности сервера 5 кВт для расчета сечения силовых проводников?

Нет. Необходимо знать архитектуру распределения: напряжение шины, КПД преобразователей и топологию цепей. При мощности 5 кВт ток при 12 В составляет 416.7 А, при 48 В — 104.2 А, а при напряжении ядра 0.8 В броски тока достигают тысяч ампер. Каждая шина должна рассчитываться отдельно по падению напряжения, нагреву и динамике.

Означает ли соответствие импеданса купона допуску ±5% полное соответствие характеристик материнской платы?

Нет. Купон подтверждает точность выдерживания волнового сопротивления лишь на тестовой дорожке. Он не отражает неоднородностей переходных отверстий, разъемов, разрывов опорных плоскостей и перекрестных помех на реальной плате, которые подтверждаются измерением S-параметров тракта и системным тестированием.