超级计算PCB:液冷刀片、112G交换机板和百亿亿次级基础设施

超级计算PCB制造,适用于计算刀片、液冷模块、高基数交换机板以及支持国家实验室和国防HPC项目的百亿亿次级互连子系统。

超级计算PCB:液冷刀片、112G交换机板和百亿亿次级基础设施

超级计算机将计算硬件推向了绝对的物理极限——成千上万个处理器节点,每个节点都处于最高功耗和时钟频率下,通过承载每秒数拍比特(Petabits)聚合带宽的网络相互连接。世界上最快的系统,如橡树岭国家实验室的Frontier(1.2 EFLOPS)、阿贡国家实验室的Aurora(1.0 EFLOPS)和芬兰CSC的LUMI,其内部的PCB必须同时在极端的信号速度(56 GHz下的112G PAM4)、功率密度(每片刀片>1,500W)和热管理(25°C进水温度的直接液冷)条件下连续运行数年,且无法对单块电路板进行维护。

每个计算刀片(compute blade)、网络交换机模块和I/O子系统内部的超级计算PCB,并非仅仅是一块高性能服务器主板——它在制造极限下运行。对于标准电路板来说能提供充裕容限的公差,在这里却成了限制良率的关键因素。在16层板上行得通的层对准精度,在28层板上就会失败。在10 GHz下合格的阻抗公差,在56 GHz下会导致链路故障。足以应对300W功耗的铜厚,在1,500W下会引发热失控。

HILPCB为构建下一代千万亿次级(petascale)和百亿亿次级(exascale)机器的系统供应商制造高达64层的超级计算PCB,服务于美国、欧洲、日本的国家实验室和国防机构项目,以及中东和东南亚新兴的HPC项目。

菜单导航


百亿亿次级PCB设计:超越常规极限

一台百亿亿次级(10¹⁸ FLOPS)超级计算机包含10,000到100,000个计算节点,这些节点通过聚合对分带宽(aggregate bisection bandwidth)超过1 Pb/s的互连网络相连。橡树岭国家实验室的Frontier系统使用了9,408个计算节点,每个节点包含一个AMD Trento CPU(280W)和四个AMD MI250X GPU(每个560W),安装在一块功耗超过2,500W的单个刀片PCB上。每个节点PCB都在商业硅芯片的极限下运行,同时要在整个集群中保持可靠性,因为在这个规模下,统计上的故障是每天必然发生的事情。

将超级计算PCB与所有其他计算类别区分开来的设计挑战,并不是服务器主板要求的简单递增——它们是性质完全不同的问题:

  • 基材物理极限下的信号速度:下一代互连将每通道速度推至112G PAM4,且224G PAM4也已提上日程。这要求在56 GHz奈奎斯特频率下通道插入损耗低于12 dB,逼近有机PCB基材的本征介电损耗底限。在这些频率下,即使是Rz < 1.0 μm的HVLP(超低轮廓)铜箔也会产生可测量的导体损耗,而标准的玻璃纤维编织增强材料会产生周期性的阻抗变化(玻纤效应,fiber weave effect),必须通过偏斜布线(fabric skew routing)或开纤布层压板(spread-glass laminates)来缓解。
  • 必须采用的液冷技术:功耗达到1,500–2,500W的刀片无法在任何实际气流速度下进行风冷。直接液冷(冷板与处理器顶盖接触,并且越来越多地与PCB表面本身接触)带来了极高的电路板平整度、冷凝管理和快速热循环要求,这些在任何风冷系统中都是不存在的。
  • 集群规模的可靠性数学:拥有50,000个节点,且每个节点的MTBF(平均故障间隔时间)为500,000小时,这意味着大约每10小时就会发生一次节点故障。板级的可靠性直接决定了系统的可用性——电路板MTBF提高10%,就意味着整个机器的持续计算吞吐量提高10%。
  • 长达十年的服务承诺:耗资数十亿美元的投资,其运行寿命为7-12年,要求PCB在远超标准3-5年商业产品周期的岁月里保持可靠。这要求在加速老化条件下进行材料稳定性验证,并在供应链上做出备用电路板生产的长期承诺。

板级的直接液冷

1,000–2,500W的超级计算刀片已经完全超越了风冷的范畴。当前的百亿亿次级系统采用直接液冷,通过集成到计算刀片中的歧管,将25–35°C的设施水直接输送到处理器封装上的冷板。这带来了任何其他计算类别都不具备的PCB设计要求,并从根本上改变了PCB与其热环境之间的关系。

在风冷系统中,PCB经历的是逐渐的温度梯度和缓慢的热瞬变。而在直接液冷系统中,PCB经历的是陡峭的温度梯度(20毫米范围内,处理器为85°C,相邻的电路板区域为30°C)、快速的热瞬变(在工作负载转换期间,5秒内温度波动30°C),以及来自冷板安装硬件的机械载荷,这会在电路板表面产生持续的压应力。

液冷PCB集成

  • 冷板安装精度:精密的安装部件(螺纹嵌件、对位销、弹簧支撑的保持机构)将冷板接触面定位在距离处理器顶盖±25 μm的范围内。电路板的平整度从标准的对角线±0.75%收紧至±0.2%,以确保TIM(热界面材料)的均匀接触——每块生产板都通过100%的光学轮廓测量进行验证。
  • 冷凝管理:低于环境露点的冷却水(在热带气候和设施冷却转换期间很常见)会在冷板表面和相邻电路板区域产生冷凝风险。采用在高Tg层压板上靠近冷板接口的区域进行选择性保形涂敷(派瑞林或硅树脂),设计排水通道将任何冷凝水引流出有源电路,并对裸露铜面进行疏水表面处理。
  • 耐快速热循环能力:在工作负载转换(空闲到满载,或满载到空闲)期间,液冷系统会在3-5秒内造成30°C的电路板温度波动。高Tg材料(Tg ≥ 180°C,T260 > 60 min,T288 > 30 min)具有较低的Z轴CTE(在Tg以下< 3.0%/°C),可防止系统在10年使用寿命内经历100,000次以上的快速热循环后出现分层、孔铜断裂和过孔疲劳。
  • 流体连接器间隙工程:快速断开接头(通常是盲插防滴漏快接头)需要在板边预留25–35毫米的间隙,用于连接器主体、软管走线和维护工具的接入。这消耗了宝贵的电路板空间,并限制了整个PCB上的元件布局。这些禁布区必须在最早的原理图审查阶段确定,而不是在机械集成时才发现。

1500W+计算刀片的供电系统

具有下一代配置的超级计算机刀片——双CPU(每个350W)加上四个GPU加速器(每个500W)加上内存和I/O——总功耗超过2,700W。所有这些电能都在刀片PCB上从48V母线电源转换为多个低于1V的核心电压轨。这种功率集中度比任何其他商业PCB应用高出3-5倍,产生的电流密度要求采用借鉴自工业电力电子设备的供电方法,而不是传统的服务器设计。

在这些功率水平下,PCB铜平面中的电阻损耗不仅仅是一个效率问题,更是热稳定性问题。在500A下进行48V到0.75V的转换会在负载中产生375W的功率,但即使平面电阻只有0.5 mΩ,也会在铜中增加125W的I²R损耗,造成局部加热,这种加热又会进一步增加电阻,形成正反馈循环。

极端供电架构

  • 48V直接负载转换:消除中间的12V母线可将分配损耗降低4-6倍,电缆横截面积减少16倍。刀片PCB承载48V到Vcore的转换器(通常使用两级架构实现48V到1V:48V到8V的LLC + 8V到Vcore的多相Buck),其布线设计可应对较高电压的开关瞬变(50–100 MHz下的48V振铃),并在专用的多层电源层上提供适当的爬电距离。
  • 厚铜电流网络:0.75V下600+ A的处理器电流要求平面电阻低于0.2 mΩ——通过具有最小50毫米宽度的4-6 oz厚铜覆铜,平面之间提供多个并联过孔连接(每个电源转换区有40+个过孔),并尽量减少VRM输出和处理器封装电源焊球之间的层转换来实现。
  • 动态电压响应:采用超低ESL电容器(LICC或反向几何MLCC)进行分布式去耦。通过全波阻抗仿真指导元件布局,在GPU内核启动事件特有的300 A/μs瞬变期间将核心电压保持在±5 mV以内。这些瞬变比CPU工作负载转换快50%,因此需要相应的更低的PDN电感。
  • 电源层的热集成:厚铜电源平面分配与散热过孔的布局相协调——4-6 oz的铜层同时具有供电和横向散热的功能,但为电压域隔离而所需的铜平面分割会产生热屏障,必须通过专用的散热过孔阵列来桥接。

超级计算PCB

112G PAM4下的高基数网络交换机板

超级计算机的互连网络使用具有高基数(High-Radix)拓扑结构(Dragonfly、Fat-tree、Torus)的64-128端口交换机,以最大程度地减少网络直径和尾部延迟(tail latency)。交换机PCB通过中央ASIC路由64个以上的400G/800G流量端口——这就创造了现存要求最苛刻的[高速PCB](/products/high-speed-pcb)设计之一。在这样的设计中,电路板上每一平方毫米的面积都承载着在极高频率下运行的信号走线,此时PCB基材已逼近其物理损耗极限。

一个128端口的400G交换机ASIC拥有大约4,096条运行在112G PAM4的SerDes通道(对于800G端口,224G PAM4正在崭露头角),每一条通道都必须满足IEEE 802.3ck规定的插入损耗和回波损耗指标。在一块大约400×500毫米的板子上,将4,096对差分信号从单个ASIC路由至板边的OSFP连接器,代表了商用电子领域中受几何空间限制最大的高速布线挑战。

交换机板的设计与制造

  • 海量的SerDes密度:4,096对112G PAM4差分线从交换机ASIC的BGA(7,000+个焊球,0.8毫米间距)辐射到板边安装的OSFP/QSFP-DD112笼子上,采用24-36层板,内层信号线的线宽/线距(trace/space)为3/3 mil——这需要具备顺序层压(sequential lamination)技术的HDI结构,以实现ASIC的扇出布线(escape routing)。
  • 56 GHz下的损耗预算:在56 GHz奈奎斯特频率下,总通道损耗需低于25 dB,其中PCB的贡献需<8 dB——这要求使用超低损耗材料(在28 GHz下,Dk 3.0,Df < 0.0015,例如Panasonic Megtron 7或同等材料)、HVLP/RTF铜箔(Rz < 1.0 μm),以及开纤布(spread-glass)或机械平衡编织布,以消除56 GHz下的玻纤效应。
  • 交换机ASIC的散热挑战:交换机ASIC散发出的300–600W热量集中在50×50毫米的芯片区域——这要求具备与GPU加速卡相当的供电和热管理复杂性。额外的限制在于,ASIC四周都被高速信号布线包围,无法容纳用于散热的过孔阵列。
  • 56 GHz下的背钻精度:通过激光对准背钻(laser-registered back-drilling)将过孔残桩(via stubs)控制在<5 mil,并使用自动切片分析进行100%深度验证。在56 GHz下,每多出1 mil的残桩就会产生一个四分之一波长谐振陷波(resonance notch),使通道裕量降低约1 dB。

工艺能力边界上的制造

超级计算机PCB要求制造工艺在某些参数上以有记录的Cpk > 1.33运行,而标准生产的Cpk通常为1.0或更低。这些能力水平之间的差异,决定了28层板的良率是达到90%以上(具有商业可行性),还是只有60%(对于单块裸板售价800美元以上的PCB而言,这是商业灾难)。

HILPCB的超级计算制造工艺在更高精度的水平上进行表征和监控——在项目认证(program qualification)期间,可提供工艺能力数据供客户审查。

关键制造参数

  • 层间对准度:在24-36层的顺序层压构建中(能力可扩展至64层),通过在每个层压周期测量X射线对准目标进行验证,将层偏控制在±1.5 mil——以防止0.5毫米间距BGA扇出走线上出现过孔与焊盘的错位。
  • 阻抗控制:±5%(标准为±10%),这要求使用SPC控制的蚀刻(带有实时蚀刻因子补偿)、±0.5 mil介质厚度控制的层压,并在每批材料进料时验证铜箔重量。
  • 背钻的钻孔对准度:背钻过孔的对准度为±1.5 mil,保持残桩长度<5 mil——使用带有钻孔深度反馈控制的视觉系统对准钻孔,并通过自动切片测量进行统计验证。
  • 超微间距的SMT组装:7,000+个焊球的BGA贴装精度达到±15 μm,回流焊后进行100% X射线检测,验证每个焊球的空洞率低于20%,散热焊盘上的空洞率<15%——这比JEDEC标准规定的25%限值更严格,以确保一致的热界面性能。

国家级项目的十年生命周期支持

超级计算机项目从设计到部署跨度为3-5年,运营寿命为7-12年,总项目投资经常超过5亿美元。电路板的质量和制造连续性直接决定了这些国家级投资的回报——如果一家制造商在初次生产8年后无法提供相同的备用板,就会迫使系统进行昂贵的重新设计或提前退役。

项目生命周期框架

  • 首件资质认证:全面的信号完整性验证(TDR阻抗分析、提取至67 GHz的S参数、112G PAM4下的眼图测量)、液冷条件下的热特性分析,以及根据AS9102记录的尺寸检验——资质认证数据包将成为整个项目生命周期内的生产参考基准。
  • 原型构建:提供5-50块用于系统初步测试(bring-up)、固件开发和集成测试的电路板。工程变更单(ECO)可在48小时内合并,以便在关键的系统调试阶段进行快速迭代。
  • 液冷平整度认证:使用光学轮廓仪进行100%电路板平整度验证,精度达到±0.2%——形成记录并可追溯至个别序列号。平整度数据以机器可读格式提供,用于冷板安装的资质认证。
  • 10年以上的材料和工艺锁定:在项目生命周期内维护制造工装、经过批准的材料规格(包括停产材料的替代来源)、层压曲线和钻孔程序——使得在初次交付8-12年后仍能进行备用板生产和系统扩容,而无需重新认证。

HILPCB超级计算PCB项目

HILPCB为构建千万亿次级和百亿亿次级机器的系统供应商制造超级计算PCB,服务于横跨三大洲的国家实验室、国防机构和研究机构的项目。

我们的能力包括:高达64层的顺序HDI构建(±1.5 mil对准精度);适用于56 GHz 112G PAM4信号的超低损耗材料,PCB通道损耗贡献<8 dB;用于1,500W+刀片供电的4-6 oz厚铜,平面电阻低于0.2 mΩ;通过光学轮廓仪验证平整度达到±0.2%的液冷集成;残桩深度<5 mil且进行100%验证的背钻过孔;以及具备十年生命周期材料和工艺承诺的IPC-6012 3级制造。

超级计算PCB常见问题解答

为什么超级计算刀片对PCB平整度的控制如此严格?

百亿亿次级计算刀片的功耗高达1,500W至2,500W,并依赖直接液冷的冷板与处理器完美贴合。标准的PCB平整度公差(±0.75%)所允许的翘曲程度,足以破坏热界面材料(TIM)的接触。我们保持±0.2%的平整度,以保证有效的传热并防止系统因过热而降频(thermal throttling)。

电源层电阻如何影响1,500W的计算刀片?

在低于1V的电压下传输数百安培电流时,即使是0.5 mΩ的平面电阻,也可能在PCB内部产生超过100W的寄生I²R发热。这需要使用4-6 oz的厚铜层、优化的过孔转换设计,以及48V直接至负载(direct-to-load)架构,将配电损耗降到最低。

什么是“玻纤效应(fiber weave effect)”,它如何影响112G PAM4信号?

在56 GHz奈奎斯特频率下,标准FR-4材料中玻璃纤维束之间的微小缝隙会导致信号走线在穿过它们时产生周期性的阻抗变化。为了防止这种情况发生,百亿亿次级互连电路板采用了机械开纤布(mechanically spread-glass weaves)和超低损耗电介质,以保持原始的信号完整性。

开始您的百亿亿次级PCB项目评估 →