2024年全球HPC(高性能计算)市场达到534亿美元(Hyperion Research),国家实验室、国防机构和企业AI训练设施推动了对在商用PCB技术绝对极限下运行的主板的需求——每个接口持续以最高额定速度运行,每个组件在持续的最坏情况功率下工作,可靠性预期反映了具有十年使用寿命的数亿美元系统投资。
HPC不仅仅是“更快的服务器计算”。其运行配置文件根本不同:云服务器处理具有可变负载和频繁空闲期的独立请求;而HPC计算刀片在整个模拟运行期间(可能长达数天或数周不中断)都维持最大功率。云服务器的热设计可以依赖热容来吸收瞬态峰值;HPC刀片必须持续提取最大TDP,而不依赖于任何占空比平均。云服务器的生命周期为3-5年;而HPC系统则代表着7-12年的投资,在第10年提供备用板是一项合同要求。
HILPCB制造最高可达64层、对准精度为±1.5 mil的HPC PCB——为系统OEM厂商构建计算刀片、加速器模块、存储节点和互连基础设施,助力分布在三大洲的国家实验室(橡树岭、阿贡、桑迪亚、CSCS、于利希、RIKEN)、研究型大学、国防机构和企业AI训练中心的科学发现与AI进步。
本文导航
什么使PCB达到“HPC级”
“HPC级”这个词是具体且可衡量的——它描述了针对将HPC与所有其他计算类别区分开来的三种操作条件进行设计和制造的电路板:持续的最高速率运行。 每个接口——5600+ MT/s的DDR5、32 GT/s的PCIe Gen 5、400G的InfiniBand NDR——都以最大吞吐量运行数小时或数天,没有消费者和云硬件赖以进行热循环、功率平均和错误率平均的空闲期。一个通过了60秒合规性测试的边缘眼图张开度,可能会在连续运行72小时后失效,因为热漂移、电源老化和介电吸收会改变通道的工作点。
持续的最坏情况热负荷。 处理器TDP(热设计功耗)无限期地维持在300-500W——而不是消费级热设计中利用热容吸收短暂峰值的“加速然后空闲”模式。HPC的热设计必须持续散发最大TDP,并为环境温度变化(数据中心入口温度30-45°C)和10年使用寿命内的组件老化留出裕量。
延长的组件和材料寿命。 7-12年的服务寿命,MTBF(平均无故障时间)超过50,000小时(每块板故障间隔5.7年)——这要求组件降额、材料稳定性验证和焊点耐久性达到标准商业认证水平的2-3倍。
HPC性能基准
- DDR5带宽:8-12个通道持续保持5600-6400 MT/s,每个插槽提供350-500 GB/s的内存带宽——受限于PCB通道质量,而非DRAM能力。
- PCIe Gen 5吞吐量:128+个通道持续保持32 GT/s,CXL 2.0内存扩展链路共享同一物理层——要求通道损耗预算为生产差异留下<2 dB的裕量。
- InfiniBand NDR:每个端口在MPI通信阶段持续保持400G(8×50G PAM4)的线速——网络PCB通道质量直接决定了集群扩展效率。
- 功率密度:每个处理器300-500W,每个刀片2-4个处理器,加上内存和I/O——刀片总功率为1,500-3,000W,通过直接液冷或高速强制风冷进行散热。
处理器与加速器接口工程
HPC系统使用性能最高的处理器封装:Intel Xeon Scalable(Sapphire Rapids/Granite Rapids,拥有4,677+个LGA引脚)、AMD EPYC(Genoa/Turin,拥有6,096个LGA引脚)、NVIDIA Grace(基于ARM的定制BGA)以及拥有6,000+ BGA连接的OAM(OCP加速器模块)外形GPU。PCB必须从这些庞大的封装中引出所有电源和信号连接,同时保持最快通道上的信号完整性,并向电源引脚输送数百安培的电流——且在同一块板的面积内同时进行。处理器接口设计
- 高密度BGA扇出:0.5-0.65毫米间距的封装,具有4,000-6,000+个引脚,需要使用带有0.075-0.1毫米激光钻孔微盲孔的焊盘内过孔,采用HDI结构。每侧2-3个HDI层的顺序积层(Sequential build-up)能够在这20-28层结构(最高可达64层,满足最严苛设计)的封装阴影区内实现完整的信号引出。
- 多插槽互连布线:UPI 2.0(Intel)在16-24 GT/s和Infinity Fabric/GMI3(AMD)在32 GT/s下,跨越处理器插槽之间150-250毫米的距离,且在奈奎斯特频率下的插入损耗低于8 dB——要求在互连路径的所有信号层上使用低损耗层压板(在12 GHz时Df < 0.003)、残桩(stub)<6 mil的背钻过孔以及HVLP铜箔(Rz < 2.0 μm)。
- OAM加速器模块接口:OCP加速器模块外形尺寸,带有标准化边缘连接器,承载PCIe Gen 5 x16和边带信号——连接器占位面积和禁布区由OCP规范定义,信号完整性通过完整的模块到基板的通道进行验证。
- 协调的电源和信号引出:通过厚铜平面(内部3-4盎司)传输数百安培的供电必须与同一板面积内细间距的信号扇出布线共存——这是HPC电路板设计中受几何约束最严重的布局挑战,需要电源/信号层对交替出现,并仔细管理过孔过渡区。
内存带宽:限制性能的子系统
HPC工作负载通常受限于内存带宽——具有大型模板操作的科学模拟、具有海量嵌入表的AI训练,以及扫描数太字节数据集的数据分析,都能从最大内存吞吐量中受益。PCB内存子系统必须支持所有DIMM通道在所有插满配置下以最高额定速度运行——包括HPC系统常用于最大容量的2DPC(每通道2个DIMM)配置,其时序裕量比1DPC紧得多。与云服务器内存设计关键的区别在于持续的利用率:云服务器的内存控制器在工作负载于虚拟机之间移动时会在不同活动通道间切换;而HPC计算节点在持续的STREAM基准测试级内存访问模式下,会同时冲击所有通道。
内存子系统设计
- 全通道DDR5布线:每个插槽8-12个DDR5通道,速度为5600-6400 MT/s,每个通道均以±1 mil的字节通道匹配进行布线,并在1DPC和2DPC配置下通过IBIS-AMI仿真验证Fly-by拓扑。在投入布局之前,会在所有支持的DIMM插满选项下验证写均衡(Write-leveling)、读均衡(Read-leveling)以及命令/地址时序。
- 信号完整性材料选择:5600+ MT/s的DDR5需要具有严格Dk公差(±3%)和已知损耗角正切(在5 GHz时Df ≤ 0.008)的阻抗控制层压板,以保持整个生产批次的阻抗和时序一致——Dk变化为±5%(标准规格)的层压板批次可能会使DDR5时序裕量偏移±10%,在持续工作负载下可能会导致间歇性错误。
- 用于紧凑型计算模块的LPDDR5:采用模块化计算(COM)外形尺寸、速度为6400 MT/s的焊接LPDDR5,使用对准精度为±15 μm的HDI扇出布线用于0.5毫米间距的BGA封装——在空间受限的计算刀片和加速卡上最大化内存密度。
- ECC和RAS基础设施:完全支持ECC,对ECC字节通道进行适当的布线(使其时序与数据字节通道匹配)、DIMM SPD(串行存在检测)I²C总线布线,以及用于内存错误报告和页面停用的RAS(可靠性、可用性、可服务性)信号——这是HPC系统多日模拟完整性所依赖的特性。

每端口400G/800G的网络互连
HPC网络性能决定了扩展效率——即随着节点数量增加,实现性能与理论峰值之比。现代HPC互连(400G的InfiniBand NDR、200G的HPE Slingshot、每端口400G/800G的以太网)使用高基数交换机拓扑以及商用硅芯片中可用的最高速SerDes。承载这些互连信号的PCB必须在有机基板能力的边缘提供通道性能——并且要在所有生产批次中始终如一地做到这一点,因为只要有一个节点链路质量较差,就会降低整个集群的扩展效率。
HPC互连板设计
- 400G/800G端口通道设计:每个端口8个通道的50G PAM4(400G)或100G PAM4(800G),在26.5 GHz(400G)时插入损耗低于4.5 dB,或在56 GHz(800G)时低于3.5 dB——要求超低损耗电介质(Dk 3.0,在28 GHz时Df < 0.0015)、HVLP/RTF铜箔(Rz < 1.0 μm)以及开纤玻璃布编织法(spread-glass weave),以消除毫米波频率下的玻纤编织效应。
- 交换机ASIC扇出布线:具有2,000-4,000+个SerDes引脚的高基数交换IC,需要24-36层板(最高支持64层)上的多层HDI结构,以实现完整的扇出布线,并通过反焊盘(anti-pad)调整优化各个通道的阻抗。
- 26.5–56 GHz的过孔工程:背钻过孔残桩长度<5 mil,通过100%自动切片或时域测量验证。对于背钻无法到达的内层过渡,使用盲/埋孔。在奈奎斯特工作频率下,每个过孔过渡分配0.5-2.0 dB预算——消耗每个过渡分配的总通道损耗的10-30%。
- OSFP/QSFP-DD连接器接口:连接器保持架封装具有优化的反焊盘几何形状,在26.5 GHz时通过PCB到连接器的过渡保持>20 dB的回波损耗。在连接器引脚区域2毫米范围内,参考平面必须保持连续(无分割或槽),以防止缝隙天线辐射。
持续负载电源与热架构
HPC节点在整个计算任务期间——为期数日的天气模拟、长达一周的AI训练以及持续一个月的分子动力学计算等没有空闲期的运行——均维持最大功率。这种持续的负载分布创造了与消费级或云计算根本不同的热和供电需求,在后者中,占空比平均和热容提供的裕量在HPC中根本不存在。为连续运行而设计的电源与热工程
- 支持持续TDP的热过孔架构:在所有功耗组件(处理器、VRM、内存缓冲器)下方设置填充并覆盖的热过孔阵列,过孔数量和间距根据每个组件的TDP进行计算——而非采用通用模式。处理器热过孔区域专为持续的300-500W功耗而设计,其热阻在额定功率下通过稳态红外热成像验证。
- 厚铜供电:3-4盎司内部铜平面分配500+ A的处理器电流,从VRM输出到处理器封装锡球的总平面电阻低于0.2 mΩ——通过带热反馈的直流IR压降仿真进行验证(电阻随温度升高,这会在设计中产生必须考虑的正反馈)。
- 持续热负载下的材料耐久性:高Tg层压板(Tg ≥ 180°C,T288 > 30 min)经过最高工作温度(125°C加速测试)下10,000多小时的验证,其介电强度、附着力或机械性能无明显退化——确保今天制造的电路板在持续提供HPC服务10年后性能依旧如一。
- 液冷集成:板面平整度控制在±0.2%内(比标准的±0.75%更严格),支持最高功率HPC配置上的直接液冷冷板——平整度通过100%光学轮廓测量进行验证,并按序列号记录,以进行冷板安装资质认证。
HPC项目质量与生命周期支持
HPC项目是耗资数亿美元、为期多年的系统投资承诺。电路板的质量直接影响系统的可用性、计算吞吐量和科学产出。支持HPC电路板制造的质量基础设施必须达到通常与航空航天或国防项目相关的水平——因为在一个拥有50,000个节点的系统中,电路板故障所带来的后果(每日节点故障、检查点/重启开销、科学吞吐量降低)在财务上是相当的。HPC质量与生命周期框架
- 首件资质认证包:完整的电气验证(飞针测试、边界扫描)、信号完整性特性(TDR阻抗分析、67 GHz频率下的S参数提取、400G PAM4下的眼图测量)、持续负载下的热特性,以及记录于AS9102标准的尺寸检验——该资质认证数据包作为项目整个生命周期的制造参考。
- 生产测试深度:ICT或飞针测试(100%网络覆盖)、所有BGA/QFN封装上的边界扫描验证、工作条件下的功能测试,以及在合成计算负载下、高温环境(55°C环境温度)中的48-72小时老化测试——在发货前施加应力以暴露早期失效机制,确保部署的电路板已度过早期失效期。
- 原型及开发支持:5-50块板的运行,用于设计验证和系统启动,工程变更单在48小时内周转——在关键的系统调试阶段实现硬件的快速迭代。统包式扩展至生产规模,并采用相同的工艺参数。
- 长达十年的生命周期连续性:制造工具、CAM数据、批准的材料规范(包括停产材料的合格替代来源)、层压曲线、钻孔程序和组装配方都会得到维护并进行版本控制,覆盖项目7-12年的全生命周期——能够在第10年支持备件板生产、机群扩展和组件级维修,且无需重新认证。
高性能计算PCB常见问题解答
在处理器持续500W负载下,你们如何防止介电击穿?
HPC电路板使用专为持续高温操作设计的高Tg层压板(Tg ≥ 180°C)。我们在加速温度下对这些材料进行长达10,000多小时的验证,以确保其介电强度和机械性能在长达十年的24/7连续计算负载下不会出现退化。
为什么Dk(介电常数)容差对DDR5内存通道如此关键?
在DDR5速度(5600+ MT/s)下,标准的±5% Dk变化会造成足够大的时序裕量偏移,从而导致间歇性的内存错误。我们指定使用严格Dk容差(±3%或更好)的层压板,以在所有DIMM通道中保持一致的阻抗和飞行时间。
PCB的平整度如何影响HPC节点中的直接液冷(DLC)?
直接液冷依赖于冷板与处理器封装的精确贴合。如果PCB翘曲度超过±0.2%(比IPC标准限制更严格),热界面材料(TIM)的接触质量就会下降,产生热点,迫使处理器因过热而降频,从而降低整个HPC集群的性能。

