Печатные платы AI-кластеров: Решение проблем высокой скорости и высокой плотности печатных плат серверов центров обработки данных

В то время как волна искусственного интеллекта (ИИ) и машинного обучения (МО) охватывает весь мир, центры обработки данных переживают беспрецедентную архитектурную революцию. От сложных научных вычислений до генеративных моделей ИИ, спрос на вычислительную мощность растет экспоненциально. В основе этой революции лежит аппаратная основа, которая поддерживает мощные графические процессоры (GPU), тензорные процессоры (TPU) и другие ускорители ИИ - печатные платы (PCB) для ИИ-кластеров. Это уже не традиционные серверные материнские платы, а инженерные чудеса, объединяющие высокую скорость, высокую плотность, высокое энергопотребление и экстремальное управление тепловыделением. Они являются нейронными сетями, обеспечивающими эффективную работу современных ИИ-кластеров.

Как эксперты в области архитектуры центров обработки данных, мы понимаем, что хорошо спроектированная печатная плата для ИИ-кластера является ключевым фактором, определяющим производительность, стабильность и энергоэффективность ИИ-кластера. Она должна обрабатывать сигнальные скорости до 224 Гбит/с, обеспечивать стабильное и чистое питание для чипов мощностью более 1000 Вт и поддерживать безупречную целостность сигнала через десятки тысяч точек подключения. Эта статья углубляется в основные проблемы создания высокопроизводительных печатных плат для ИИ-кластеров и исследует передовые решения, предлагаемые лидерами отрасли, такими как Highleap PCB Factory (HILPCB).

Какую уникальную роль играют печатные платы для ИИ-кластеров в современных центрах обработки данных?

Традиционные серверные печатные платы (PCB) в первую очередь предназначены для центральных процессоров (CPU), памяти и стандартных периферийных устройств, в то время как PCB для кластеров ИИ созданы для крупномасштабных параллельных вычислений. Их философия проектирования заключается в эффективном соединении сотен или тысяч ускорителей ИИ (таких как графические процессоры NVIDIA или тензорные процессоры Google) для обеспечения их совместной работы в качестве единого суперкомпьютера.

Их уникальность отражается в следующих аспектах:

  1. Крупномасштабная топология межсоединений: Кластеры ИИ полагаются на высокоскоростные технологии межсоединений (такие как NVLink от NVIDIA или InfiniBand) для минимизации задержки связи между узлами. PCB должна поддерживать сложные сетевые топологии, такие как структуры типа fat-tree или torus, требующие сверхвысокой плотности проводки и многослойных конструкций плат.
  2. Интеграция гетерогенных вычислений: PCB кластера ИИ обычно должна интегрировать несколько процессорных блоков. Это включает не только основные ускорители ИИ, но также может включать специализированные конструкции, такие как RT Core PCB для трассировки лучей и Tensor Processing PCB для конкретных моделей ИИ. Такая гетерогенная интеграция предъявляет чрезвычайно высокие требования к компоновке PCB и распределению питания.
  3. Узкое место пропускной способности памяти: Для питания вычислительных "зверей" высокоскоростная память (HBM) стала стандартом. Это требует высокосложных конструкций HBM Interface PCB, характеризующихся сверхкороткими, сверхширокими и строго контролируемыми по импедансу параллельными шинами, что создает проблемы с точностью на миллиметровом уровне при производстве.
  4. Масштабируемость и модульность: Современные кластеры ИИ используют модульные конструкции, такие как OCP Accelerator Module (OAM). Печатная плата должна служить основополагающей платформой, поддерживающей горячую замену, подачу питания и высокоскоростную связь для этих модулей, чтобы обеспечить гибкое расширение кластера.

Почему высокоскоростная целостность сигнала является жизненно важной для производительности ИИ?

В кластерах ИИ скорость и качество передачи данных напрямую определяют эффективность обучения и вывода моделей. Когда скорость сигнала достигает 112 Гбит/с или даже 224 Гбит/с, сама печатная плата превращается из простого средства подключения в критически важный ВЧ-компонент, влияющий на качество сигнала. Любой незначительный дефект конструкции может привести к ошибкам данных, ухудшая или даже парализуя производительность всего кластера.

Основные проблемы целостности сигнала (СИ) включают:

  • Вносимые потери: Энергия сигнала ослабляется по мере его распространения по линиям передачи. Для обеспечения надежной доставки сигнала к приемнику необходимо использовать сверхнизкопотерные материалы печатных плат, такие как Megtron 7 или Tachyon 100G. Эти материалы значительно снижают диэлектрические потери (Df), сохраняя амплитуду сигнала.
  • Перекрестные помехи: При высокой плотности проводки соседние сигнальные линии мешают друг другу. Благодаря точному 3D-моделированию электромагнитного поля, оптимизации расстояния между трассами, планированию линий заземления и применению передовых стратегий трассировки (таких как зигзагообразная трассировка) перекрестные помехи могут быть контролированы в допустимых пределах.
  • Контроль импеданса: Импеданс высокоскоростных дифференциальных пар должен строго поддерживаться в пределах ±5% от целевого значения (например, 90 или 100 Ом). Это требует точных расчетов ширины трассы, толщины диэлектрика и толщины меди, а также строгого контроля во время производства с использованием рефлектометрии во временной области (TDR).
  • Оптимизация переходных отверстий: Переходные отверстия являются основным источником разрыва импеданса в высокоскоростных сигнальных трактах. Такие методы, как обратное сверление для удаления избыточных отрезков переходных отверстий или использование микропереходных отверстий в технологии HDI, могут значительно улучшить отражение сигнала и джиттер.

Решение этих задач требует глубоких знаний в области проектирования и производства высокоскоростных печатных плат. HILPCB использует передовые инструменты моделирования и строгий контроль процессов, чтобы гарантировать, что каждая печатная плата AI-кластера обеспечивает исключительную производительность передачи сигнала.

Сравнение характеристик материалов для высокоскоростных печатных плат

Стандартный FR-4

Диэлектрическая проницаемость (Dk): ~4.5

Тангенс угла диэлектрических потерь (Df): ~0.020

Применимая частота: < 5 ГГц

Применение: Серверы общего назначения

Материалы со средними потерями

Диэлектрическая проницаемость (Dk): ~3.8

Тангенс угла диэлектрических потерь (Df): ~0.008

Применимая частота: 5-15 ГГц

Применение: Высокопроизводительные вычисления

Материал со сверхнизкими потерями

Диэлектрическая проницаемость (Dk): ~3.3

Тангенс угла диэлектрических потерь (Df): < 0.003

Применимая частота: > 25 ГГц

Применение: Печатная плата AI-кластера, 224G SerDes

Как усовершенствованный дизайн стека слоев справляется со сложностью?

Печатная плата AI-кластера обычно состоит из более чем 20 слоев, иногда даже превышая 40 слоев. Хорошо спроектированный стек слоев служит краеугольным камнем для балансировки целостности сигнала, целостности питания (PI) и электромагнитных помех (EMI).

Типичная стратегия стека слоев для многослойных печатных плат включает:

  • Сигнальные слои и опорные плоскости: Высокоскоростные сигнальные слои всегда прилегают к сплошной плоскости заземления (GND) или питания (PWR). Эта микрополосковая или полосковая структура обеспечивает четкий обратный путь и эффективно контролирует импеданс.
  • Плоскости питания и заземления: Несколько плоскостей питания и заземления чередуются, образуя большую плоскостную емкость, которая помогает подавлять высокочастотные шумы и обеспечивает низкоимпедансный путь для сети распределения питания (PDN).
  • Ортогональная трассировка: Соседние сигнальные слои обычно используют ортогональную (горизонтальную/вертикальную) трассировку для минимизации межслойных перекрестных помех.
  • Технология HDI: Для размещения десятков тысяч соединений в ограниченном пространстве необходима технология межсоединений высокой плотности (HDI). Используя микропереходы, просверленные лазером, и более тонкие дорожки, можно достичь разводки высокой плотности под корпусами BGA, особенно при работе со сложными областями печатных плат с интерфейсом HBM. Проектирование стека слоев - это сложное искусство компромиссов. Профессиональные производители печатных плат могут предложить оптимизированные решения по стеку слоев, адаптированные к вашим конкретным потребностям, обеспечивая идеальный баланс между производительностью и стоимостью.

Как построить надежную сеть распределения питания для ИИ-ускорителей киловаттного уровня?

Современные ИИ-GPU достигли пикового энергопотребления, превышающего 1000 ватт, с рабочими токами до сотен ампер, при этом их потребность в токе является переходной и очень динамичной. Хрупкая сеть распределения питания (PDN) может вызывать провалы напряжения, что напрямую приводит к вычислительным ошибкам или сбоям системы.

Построение надежной PDN требует внимания к следующему:

  1. Сверхнизкий импеданс PDN: Цель состоит в поддержании импеданса на уровне миллиом во всем частотном диапазоне (от постоянного тока до нескольких ГГц). Это требует больших плоскостей питания и заземления, а также тщательно расположенных массивов развязывающих конденсаторов.
  2. Иерархические развязывающие конденсаторы: Разместите многочисленные малоемкие конденсаторы с низким ESL рядом с чипом, чтобы реагировать на высокочастотные токовые запросы. Разместите более крупные объемные конденсаторы немного дальше, чтобы дополнять низкочастотные токи.
  3. Оптимизированные токовые пути: Токовые пути должны быть максимально широкими, короткими и прямыми, чтобы минимизировать падение напряжения постоянного тока (IR Drop) и паразитную индуктивность. Для критических путей часто применяется технология печатных плат с толстой медью (3 унции или выше) для работы с высокими токами.
  4. Размещение VRM: Модули регуляторов напряжения (VRM) должны быть размещены как можно ближе к ускорителю ИИ, чтобы сократить расстояния подачи питания и уменьшить потери мощности. Это обычно называется подачей питания "Point-of-Load" (в точке нагрузки).

Проектирование и валидация PDN требуют профессиональных инструментов моделирования PI для обеспечения того, чтобы колебания напряжения оставались в пределах заданной допуском микросхемы при наихудших переходных процессах нагрузки.

Ключевые метрики целостности питания (PI) печатных плат кластера ИИ

Импеданс PDN

< 1 mΩ

Целевая частота: 1кГц - 1ГГц

Пульсации напряжения

< 2%

На шинах напряжения ядра

Падение напряжения постоянного тока (IR-падение)

< 3%

От VRM к чипу

Переходная характеристика

< 50 mV

Для скачка тока 100 А/мкс

Как экстремальное управление температурным режимом предотвращает узкие места в производительности?

Почти вся мощность, потребляемая кластером ИИ, в конечном итоге преобразуется в тепло. Если это тепло не может быть эффективно рассеяно, температура чипа быстро возрастет, что вызовет автоматическое дросселирование для самозащиты, серьезно влияя на вычислительную производительность. Поэтому проектирование теплового менеджмента в печатных платах так же критично, как и электронное проектирование.

Эффективные стратегии теплового менеджмента включают:

  • Материалы с высокой теплопроводностью: Выбор подложек печатных плат с более высокой теплопроводностью (ТП), хотя и более дорогих, улучшает теплопроводность внутри платы.
  • Массивы тепловых переходных отверстий (Thermal Via Arrays): Плотное расположение тепловых переходных отверстий под тепловыделяющими компонентами (например, GPU, VRM) для быстрой передачи тепла на другую сторону печатной платы, где обычно устанавливаются большие радиаторы.
  • Встроенные медные монеты (Embedded Copper Coins): Для локализованных горячих точек во время производства печатных плат могут быть встроены цельные медные блоки. Теплопроводность меди значительно превосходит теплопроводность подложек печатных плат, создавая эффективный путь теплопроводности.
  • Оптимизированная компоновка: Распределение компонентов с высоким тепловыделением и учет конструкции воздушного потока в центре обработки данных для предотвращения концентрированных горячих точек или рециркуляции горячего воздуха.
  • Поверхностная обработка: Выбор процессов поверхностной обработки, способствующих контакту с радиатором, и их сочетание с высокопроизводительными термоинтерфейсными материалами (ТИМ).

Для печатных плат серверов вывода, развернутых за пределами центров обработки данных, среда охлаждения может быть более сложной, что требует надежных пассивных и активных систем охлаждения.

Как строгий производственный процесс обеспечивает конечную надежность?

Даже самый совершенный дизайн печатной платы кластера ИИ является лишь теоретическим, если производственные процессы не соответствуют требованиям. Его чрезвычайная сложность предъявляет строгие требования к производителям печатных плат, значительно превосходящие требования к бытовой электронике или стандартным промышленным продуктам.

Ключевые производственные соображения (DFM - Design for Manufacturability) включают:

  • Точность выравнивания ламинации: Для 40-слойных печатных плат точность выравнивания между внутренними и внешними слоями должна контролироваться на микронном уровне; в противном случае смещенные переходные отверстия могут вызвать обрывы или короткие замыкания.
  • Возможности сверления: Сквозные отверстия с высоким соотношением сторон (например, толщина платы 3 мм при диаметре отверстия 0,2 мм) представляют значительные проблемы для сверлильного оборудования и процессов.
  • Точность травления цепей: Достигает цепей 3/3 мил (ширина линии/зазор) или даже более тонких, что требует передовой технологии mSAP (Modified Semi-Additive Process).
  • Стандарты надежности: Печатные платы для кластеров ИИ обычно требуют соответствия стандартам IPC Class 3, высочайшему уровню надежности электронных продуктов, подходящему для критически важных областей, таких как аэрокосмическая промышленность и системы жизнеобеспечения.
  • Комплексное тестирование: В дополнение к стандартному тестированию летающим зондом (AOI), тестирование импеданса, высоковольтное тестирование и тестирование надежности (например, циклы термошока) необходимы для обеспечения стабильности при длительной работе с высокой нагрузкой.

Выбор партнера, такого как Highleap PCB Factory (HILPCB), с передовым оборудованием и обширным опытом, имеет решающее значение. Мы глубоко понимаем уникальные требования к аппаратному обеспечению ИИ и можем предоставить комплексную поддержку от прототипирования до массового производства.

Получить предложение по печатным платам

🚀 HILPCB обеспечивает успех вашего проекта аппаратного обеспечения ИИ

Наша основная компетенция является ключом к обеспечению качества высокопроизводительных материнских плат для ИИ/серверов.

Экспертная инженерная поддержка

От анализа DFM до проектирования стека, профессиональные консультации по снижению рисков высокочастотного проектирования.

Библиотека передовых материалов

Предоставляет материалы со сверхнизкими потерями и высокой теплопроводностью для удовлетворения самых строгих требований к производительности.

🔧
Возможности прецизионного производства

Оснащен возможностями массового производства для сложных процессов, таких как многослойные платы, HDI, обратное сверление и толстая медь.

💥
Строгий контроль качества

Соблюдение стандартов IPC Class 3 для обеспечения исключительного качества каждой печатной платы.

Как технология печатных плат для кластеров ИИ распространяется на граничные вычисления?

В то время как кластеры ИИ являются центром вычислительной мощности, приложения ИИ быстро распространяются на периферию сети. Появление печатных плат для граничных серверов ИИ призвано точно удовлетворить спрос на обработку данных в реальном времени и вывод моделей на граничных устройствах.

По сравнению со своими аналогами в центрах обработки данных, печатные платы для граничных серверов ИИ сталкиваются с уникальными проблемами:

  • Размер, Вес и Мощность (SWaP): Граничные устройства имеют ограниченное пространство и мощность, что требует максимально компактных и энергоэффективных конструкций печатных плат при сохранении высокой производительности.
  • Адаптивность к окружающей среде: Они могут быть развернуты в суровых условиях, таких как заводы, транспортные средства или на открытом воздухе, что предъявляет более высокие требования к термостойкости, вибростойкости и влагозащите печатных плат.
  • Смешанно-сигнальная конструкция: Краевые устройства часто интегрируют многочисленные датчики и модули беспроводной связи, требуя от печатных плат обработки сложных смешанно-сигнальных данных и эффективной изоляции цифровых шумовых помех от аналоговых сигналов.

Многие технологии, разработанные для крупномасштабных кластеров ИИ, такие как HDI и передовые решения для управления тепловыделением, могут быть оптимизированы и адаптированы для высокопроизводительных печатных плат серверов ИИ на периферии. Будь то печатные платы RT Core для автономного вождения или печатные платы серверов вывода для интеллектуальной безопасности, их основа лежит в надежной технологии печатных плат.

Будущие тенденции в технологии печатных плат для центров обработки данных

Технологическая эволюция печатных плат для кластеров ИИ еще далека от завершения. В будущем можно ожидать несколько ключевых тенденций:

  1. Оптика с совместной упаковкой (CPO): По мере того как скорость передачи данных продолжает расти, физические пределы медной проводки становятся все более очевидными. Интеграция оптических трансиверов непосредственно рядом с корпусами чипов или даже внутри печатных плат станет революционным решением для устранения узких мест в пропускной способности.
  2. Материалы нового поколения: Промышленность разрабатывает новые материалы для печатных плат с меньшими потерями, более высокой термической стабильностью и лучшими механическими свойствами для поддержки скоростей сигнала 448 Гбит/с и выше.
  3. Встроенные пассивные компоненты: Встраивание пассивных компонентов, таких как резисторы и конденсаторы, непосредственно во внутренние слои печатных плат может еще больше увеличить интеграцию, сократить пути прохождения сигнала и улучшить высокочастотные характеристики.
  4. Передовые технологии охлаждения: Помимо традиционного воздушного и жидкостного охлаждения, иммерсионное охлаждение станет более распространенным. Это требует, чтобы печатные платы и все их компоненты были совместимы со специализированными охлаждающими жидкостями, что создает новые вызовы для материалов и процессов.

Эти тенденции указывают на то, что будущие печатные платы для тензорной обработки и материнские платы ускорителей ИИ станут еще более сложными и точными, с возрастающей зависимостью от проектирования и производства печатных плат.

Заключение: Сотрудничайте с экспертами, чтобы преуспеть в эпоху ИИ

Печатные платы для кластеров ИИ являются краеугольным камнем современных центров обработки данных, а сложность их проектирования и производства представляет собой вершину современной электронной инженерии. От управления сверхвысокоскоростными сигналами до обработки мощности на уровне киловатт и рассеивания тепла, а также достижения беспрецедентной плотности интеграции, каждый шаг сопряжен с трудностями. Будь то создание крупномасштабных обучающих кластеров или развертывание эффективных печатных плат для серверов вывода, выбор технически сильного и опытного партнера по печатным платам имеет решающее значение. HILPCB стремится оставаться на переднем крае технологий. Мы не только предоставляем высококачественные услуги по производству печатных плат, но и помогаем клиентам оптимизировать проекты на ранних этапах жизненного цикла проекта благодаря профессиональной инженерной поддержке, снижая риски и ускоряя вывод продукции на рынок. В эту эпоху, движимую данными и вычислительной мощностью, давайте сотрудничать, чтобы создать надежную аппаратную основу, которая будет питать революцию ИИ. Свяжитесь с нашей технической командой для проведения технико-экономического обоснования вашего следующего проекта ИИ.