Les supercalculateurs poussent le matériel informatique à ses limites physiques absolues — des dizaines de milliers de nœuds de processeurs, chacun fonctionnant à la puissance et à la vitesse d'horloge maximales, interconnectés par des réseaux transportant des pétaoctets par seconde de bande passante agrégée. Les systèmes les plus rapides au monde — Frontier à Oak Ridge (1,2 EFLOPS), Aurora à Argonne (1,0 EFLOPS) et LUMI au CSC Finland — intègrent des PCB fonctionnant simultanément aux extrêmes de la vitesse du signal (112G PAM4 à 56 GHz), de la densité de puissance (>1 500 W par lame) et de la gestion thermique (refroidissement liquide direct avec une température d'entrée de 25°C), sous une charge continue pendant des années sans possibilité de maintenance des cartes individuelles.
Le PCB pour supercalculateurs, présent à l'intérieur de chaque lame de calcul (compute blade), module de commutation réseau et sous-système d'E/S, n'est pas simplement une carte serveur haute performance — il fonctionne aux limites de la fabrication, là où les tolérances offrant une marge confortable sur les cartes standard deviennent des facteurs limitant le rendement. Une précision d'alignement des couches efficace sur 16 couches échoue sur 28. Une tolérance d'impédance satisfaisante à 10 GHz provoque des pannes de liaison à 56 GHz. Une épaisseur de cuivre suffisante pour 300 W crée un emballement thermique à 1 500 W.
HILPCB fabrique des PCB pour supercalculateurs allant jusqu'à 64 couches pour les fournisseurs de systèmes construisant les machines pétaflopiques et exaflopiques de nouvelle génération, au service des programmes des laboratoires nationaux et des agences de défense aux États-Unis, en Europe, au Japon, ainsi que pour les programmes HPC émergents au Moyen-Orient et en Asie du Sud-Est.
Navigation du Menu
- Conception de PCB Exascale : Au-delà des Limites Conventionnelles
- Refroidissement Liquide Direct au Niveau de la Carte
- Distribution de Puissance pour Lames de Calcul 1500W+
- Cartes Commutateurs Réseau High-Radix en 112G PAM4
- Fabrication aux Limites des Capacités de Processus
- Support du Cycle de Vie sur une Décennie pour les Programmes Nationaux
Conception de PCB Exascale : Au-delà des Limites Conventionnelles
Un supercalculateur exascale (10¹⁸ FLOPS) contient de 10 000 à 100 000 nœuds de calcul interconnectés via une bande passante de bissection agrégée (aggregate bisection bandwidth) dépassant 1 Pb/s. Le système Frontier à Oak Ridge utilise 9 408 nœuds de calcul, chacun contenant un processeur AMD Trento (280 W) et quatre processeurs graphiques AMD MI250X (560 W chacun) sur un seul PCB de lame dissipant plus de 2 500 W. Chaque PCB de nœud fonctionne aux limites du silicium commercial tout en maintenant sa fiabilité au sein d'un parc informatique où les pannes statistiques sont une certitude quotidienne.Les défis de conception distinguant les PCB de supercalculateurs de toutes les autres catégories informatiques ne sont pas de simples extensions incrémentales des exigences des cartes serveurs — il s'agit de problèmes qualitativement différents :
- Vitesses de Signal aux Limites Physiques des Substrats : Les interconnexions de nouvelle génération poussent à 112G PAM4 par ligne (lane), avec l'émergence imminente du 224G PAM4. Cela exige des canaux avec une perte d'insertion (insertion loss) inférieure à 12 dB à 56 GHz (Nyquist), s'approchant du seuil de perte diélectrique fondamentale des substrats de PCB organiques. À ces fréquences, même la feuille de cuivre HVLP avec Rz < 1,0 μm contribue de manière mesurable à la perte du conducteur, et le renforcement standard par tissage de verre crée des variations d'impédance périodiques (effet de tissage de fibre - fiber weave effect) qui doivent être atténuées par un routage de biais (fabric skew routing) ou des stratifiés à verre écarté (spread-glass).
- Refroidissement Liquide Obligatoire : Les lames dissipant de 1 500 à 2 500 W ne peuvent être refroidies par air à aucune vitesse de flux d'air pratique. Le refroidissement liquide direct, avec des plaques froides (cold plates) en contact avec les couvercles des processeurs (et de plus en plus avec la surface même du PCB), engendre des exigences en matière de planéité de la carte, de gestion de la condensation et d'endurance aux cycles thermiques rapides, absentes de tout système refroidi par air.
- Mathématiques de la Fiabilité à l'Échelle d'une Flotte : Avec 50 000 nœuds et un MTBF (temps moyen entre pannes) par nœud de 500 000 heures, une panne de nœud se produit environ toutes les 10 heures. La fiabilité au niveau de la carte détermine directement la disponibilité du système : une amélioration de 10 % du MTBF de la carte se traduit par un débit de calcul soutenu supérieur de 10 % sur l'ensemble de la machine.
- Engagement de Service sur une Décennie : Les investissements de plusieurs milliards de dollars avec des durées de vie opérationnelles de 7 à 12 ans nécessitent des PCB qui restent fiables bien au-delà des cycles de produits commerciaux standard de 3 à 5 ans. Cela exige une validation de la stabilité des matériaux dans des conditions de vieillissement accéléré, ainsi que des engagements à long terme de la chaîne d'approvisionnement pour la production de cartes de rechange.
Refroidissement Liquide Direct au Niveau de la Carte
Les lames de supercalculateurs de 1 000 à 2 500 W ont complètement dépassé le refroidissement par air. Les systèmes exascale actuels utilisent un refroidissement liquide direct (direct liquid cooling) avec des plaques froides distribuant de l'eau de l'installation (facility water) à 25-35°C directement sur les boîtiers des processeurs via des collecteurs (manifolds) intégrés dans la lame de calcul. Cela engendre des exigences de conception de PCB absentes de toute autre catégorie informatique, et modifie fondamentalement la relation entre le PCB et son environnement thermique.Dans un système refroidi par air, le PCB subit des gradients de température graduels et des transitoires thermiques lents. Dans un système à refroidissement liquide direct, le PCB subit des gradients de température abrupts (processeur à 85°C, zone de carte adjacente à 30°C dans un rayon de 20 mm), des transitoires thermiques rapides (variation de température de 30°C en moins de 5 secondes lors des transitions de charge de travail) et des charges mécaniques induites par le matériel de montage de la plaque froide, ce qui crée une contrainte de compression (compressive stress) soutenue sur la surface de la carte.
Intégration du PCB pour Refroidissement Liquide
- Précision du Montage de la Plaque Froide : Caractéristiques de montage de précision (inserts filetés, broches d'alignement, mécanismes de rétention à ressort) plaçant la surface de contact de la plaque froide à ±25 μm du couvercle du processeur. Planéité de la carte resserrée de la norme ±0,75 % à ±0,2 % de la diagonale pour un contact TIM (Thermal Interface Material) uniforme, vérifié par profilométrie optique à 100 % sur chaque carte de production.
- Gestion de la Condensation : L'eau réfrigérée en dessous du point de rosée ambiant (fréquent dans les climats tropicaux et lors des transitions de refroidissement des installations) crée un risque de condensation sur les surfaces des plaques froides et les zones de carte adjacentes. Un vernis de protection sélectif (conformal coating en parylène ou silicone) près des interfaces de la plaque froide sur les stratifiés à Tg élevé, des canaux de drainage conçus pour éloigner toute condensation des circuits actifs et un traitement de surface hydrophobe sur le cuivre exposé sont mis en œuvre.
- Endurance aux Cycles Thermiques Rapides : Le refroidissement liquide engendre des variations de température de la carte de 30°C en 3 à 5 secondes lors des transitions de charge de travail (du repos à la pleine charge, et inversement). Des matériaux à Tg élevé (Tg ≥ 180°C, T260 > 60 min, T288 > 30 min) avec un faible coefficient de dilatation thermique (CTE) sur l'axe Z (< 3,0 %/°C sous le Tg) préviennent le délaminage, la fissuration des fûts de via (barrel cracking) et la fatigue des vias soumis à plus de 100 000 cycles thermiques rapides sur les 10 ans de vie du système.
- Ingénierie du Dégagement des Connecteurs Fluides : Les raccords à déconnexion rapide (généralement des coupleurs aveugles anti-gouttes) nécessitent 25 à 35 mm de dégagement au bord de la carte pour le corps du connecteur, le routage des tuyaux et l'accès aux outils d'entretien, consommant un espace précieux sur la carte et limitant le placement des composants sur l'ensemble du PCB. Ces zones d'exclusion (keepout zones) doivent être établies dès la première étape d'examen du schéma, et non découvertes lors de l'intégration mécanique.
Distribution de Puissance pour Lames de Calcul 1500W+
Les lames de supercalculateurs avec des configurations de nouvelle génération — deux processeurs CPU (350 W chacun) plus quatre accélérateurs GPU (500 W chacun) ainsi que la mémoire et les E/S — consomment plus de 2 700 W au total, le tout converti à partir du bus d'alimentation 48V en plusieurs rails de tension de cœur (core voltage) inférieurs à 1V sur le PCB de la lame. Cette concentration de puissance dépasse toute autre application PCB commerciale d'un facteur de 3 à 5 fois, générant des densités de courant qui nécessitent des approches de distribution de puissance (power delivery) empruntées à l'électronique de puissance industrielle plutôt qu'à la conception de serveurs conventionnelle.À ces niveaux de puissance, la perte résistive dans les plans de cuivre du PCB n'est pas simplement une question de rendement — c'est un problème de stabilité thermique. Une conversion de 48V à 0,75V à 500A produit 375 W dans la charge, mais même 0,5 mΩ de résistance de plan ajoute 125 W de perte par effet Joule (I²R) répartie sur le cuivre, créant un échauffement localisé qui augmente encore la résistance selon une boucle de rétroaction positive.
Architecture Extrême de Distribution de Puissance
- Conversion Directe 48V vers la Charge (Direct-to-Load) : L'élimination du bus intermédiaire 12V réduit les pertes de distribution de 4 à 6 fois et la section transversale des câbles de 16 fois. Les PCB de lame transportent des convertisseurs 48V-vers-Vcore (généralement 48V-vers-1V utilisant une architecture à deux étages : LLC 48V-vers-8V + Buck multiphase 8V-vers-Vcore) avec un routage conçu pour les transitoires de commutation à tension plus élevée (ringing 48V à 50–100 MHz) sur des couches de puissance multicouches dédiées avec une distance de ligne de fuite (creepage) appropriée.
- Réseaux de Courant en Cuivre Épais (Heavy Copper) : Un courant de processeur de plus de 600 A à 0,75V nécessite une résistance de plan inférieure à 0,2 mΩ. Ceci est accompli grâce à des plans en cuivre épais de 4 à 6 oz d'une largeur minimale de 50 mm, de multiples connexions de vias en parallèle (plus de 40 vias par transition d'alimentation) entre les plans, et une minimisation des transitions de couches entre la sortie du VRM et les billes d'alimentation du boîtier du processeur.
- Réponse en Tension Dynamique : Un découplage distribué avec des condensateurs à ultra-faible ESL (Inductance Série Équivalente) — LICC ou MLCC à géométrie inversée — positionnés grâce à une simulation d'impédance pleine onde (full-wave impedance simulation), maintient la tension de cœur à ±5 mV lors de transitoires de 300 A/μs caractéristiques des événements de lancement du noyau GPU. Ces transitoires sont 50 % plus rapides que les transitions de charge de travail du CPU et nécessitent une inductance de PDN (Power Delivery Network) proportionnellement plus faible.
- Intégration Thermique des Plans de Puissance : La distribution par plan de puissance en cuivre épais est coordonnée avec le placement des vias thermiques. Les couches de cuivre de 4 à 6 oz remplissent des fonctions simultanées de distribution de puissance et d'étalement latéral de la chaleur (heat spreading), mais les coupures (splits) du plan de cuivre nécessaires à l'isolation du domaine de tension créent des barrières thermiques qui doivent être franchies à l'aide de réseaux de vias thermiques dédiés.
Cartes Commutateurs Réseau High-Radix en 112G PAM4
Les réseaux d'interconnexion de supercalculateurs utilisent des commutateurs de 64 à 128 ports dotés de topologies "high-radix" (à base élevée, comme Dragonfly, Fat-tree, Torus), minimisant le diamètre du réseau et la latence de queue (tail latency). Le PCB du commutateur achemine plus de 64 ports de trafic 400G/800G à travers un ASIC central, engendrant l'une des conceptions de [PCB haute vitesse](/products/high-speed-pcb) les plus exigeantes au monde, où chaque millimètre carré de la surface de la carte porte des pistes de signaux fonctionnant à des fréquences où le substrat du PCB s'approche de ses limites de perte fondamentales.Un ASIC de commutateur 400G à 128 ports possède environ 4 096 voies (lanes) SerDes fonctionnant à 112G PAM4 (pour les ports 800G, le 224G PAM4 est en train d'émerger), chacune nécessitant un canal répondant aux spécifications de perte d'insertion et de perte de retour de la norme IEEE 802.3ck. Le routage de 4 096 paires différentielles depuis un seul ASIC vers des connecteurs OSFP montés sur le bord d'une carte mesurant environ 400 × 500 mm représente le défi de routage haute vitesse le plus contraint géométriquement en électronique commerciale.
Conception et Fabrication de la Carte Commutateur
- Densité SerDes Massive : 4 096 paires différentielles en 112G PAM4 rayonnant à partir du BGA de l'ASIC de commutation (plus de 7 000 billes au pas de 0,8 mm) vers des cages OSFP/QSFP-DD112 montées en bord de carte, sur des PCB de 24 à 36 couches avec des pistes et des espaces de 3/3 mil sur les couches de signaux internes. Cela requiert une construction HDI avec lamination séquentielle pour le routage de sortie (escape routing) de l'ASIC.
- Budget de Perte à 56 GHz : Le canal total doit être inférieur à 25 dB à la fréquence de Nyquist de 56 GHz, le PCB devant y contribuer pour moins de 8 dB. Cela exige des matériaux à ultra-faible perte (Dk 3.0, Df < 0.0015 à 28 GHz, comme le Panasonic Megtron 7 ou équivalent), une feuille de cuivre HVLP/RTF (Rz < 1.0 μm) et un tissage de verre écarté (spread-glass) ou équilibré mécaniquement pour éliminer l'effet de tissage de fibre (fiber weave effect) à 56 GHz.
- Défi Thermique de l'ASIC de Commutation : 300 à 600 W de dissipation provenant de l'ASIC de commutation, concentrés sur une surface de puce (die) de 50 × 50 mm. Cela requiert une complexité de distribution de puissance et de gestion thermique comparable à celle des cartes accélératrices GPU, avec la contrainte supplémentaire que l'ASIC est entouré sur ses quatre côtés par un routage de signaux haute vitesse ne pouvant s'accommoder de réseaux de vias thermiques.
- Précision du Rétro-perçage (Back-Drill) à 56 GHz : Les tronçons de via (via stubs) doivent être limités à moins de 5 mil par un rétro-perçage (back-drilling) aligné par laser, avec une vérification de la profondeur à 100 % à l'aide de coupes transversales automatisées. À 56 GHz, chaque mil excédentaire de stub génère un creux de résonance quart d'onde (quarter-wave resonance notch) qui réduit la marge du canal d'environ 1 dB.
Fabrication aux Limites des Capacités de Processus
Les PCB pour supercalculateurs exigent des processus de fabrication fonctionnant avec un Cpk (indice de capabilité de processus) documenté > 1,33 sur des paramètres pour lesquels la production standard affiche un Cpk de 1,0 ou moins. La différence entre ces niveaux de capacité détermine si le rendement de fabrication (yield) d'une carte à 28 couches atteindra plus de 90 % (viabilité commerciale) ou plafonnera à 60 % (catastrophe commerciale avec un coût supérieur à 800 $ par circuit imprimé nu).Les processus de fabrication de HILPCB pour le supercalcul (supercomputing) sont caractérisés et surveillés à des niveaux de précision accrus, les données de capabilité de processus (process capability data) étant disponibles pour examen par le client lors de la qualification du programme.
Paramètres de Fabrication Critiques
- Alignement des Couches (Layer Registration) : ±1,5 mil sur les assemblages séquentiels de 24 à 36 couches (une capacité s'étendant jusqu'à 64 couches) vérifié par la mesure aux rayons X d'une cible d'alignement à chaque cycle de lamination. Cela permet d'empêcher les défauts d'alignement via/pastille (via-to-pad) sur les pistes de sortie (escape routes) des BGA au pas de 0,5 mm.
- Contrôle d'Impédance : ±5 % (contre une norme de ±10 %) nécessitant une gravure (etching) contrôlée par la maîtrise statistique des procédés (SPC) avec compensation du facteur de gravure en temps réel, une lamination avec un contrôle de l'épaisseur du diélectrique à ±0,5 mil, et la vérification du poids de la feuille de cuivre entrante sur chaque lot.
- Alignement de Perçage pour le Rétro-perçage (Back-Drilling) : ±1,5 mil pour les vias rétro-percés afin de maintenir une longueur de tronçon (stub) < 5 mil. Utilisation d'un système de perçage à reconnaissance visuelle avec contrôle du retour sur la profondeur de perçage et vérification statistique via la mesure automatisée de sections transversales.
- Assemblage SMT pour le Pas Ultra-Fin (Ultra-Fine-Pitch) : Placement de BGA à plus de 7 000 billes avec une précision de ±15 μm et une inspection aux rayons X à 100 % après refusion (post-reflow) pour s'assurer que les vides (voids) restent inférieurs à 20 % par bille et à <15 % sur les pastilles thermiques. Ce standard est plus exigeant que la limite de 25 % fixée par le JEDEC, afin d'assurer des performances constantes de l'interface thermique.
Support du Cycle de Vie sur une Décennie pour les Programmes Nationaux
Les programmes de supercalcul s'étalent sur 3 à 5 ans entre la conception et le déploiement, offrent une durée de vie opérationnelle de 7 à 12 ans et représentent souvent un investissement global supérieur à 500 millions de dollars. La qualité des cartes et la continuité de fabrication conditionnent directement la rentabilité de ces investissements d'envergure nationale. Un fabricant dans l'incapacité de produire des cartes de remplacement identiques 8 ans après la production initiale contraint l'opérateur à une reconception coûteuse du système ou à un retrait de service prématuré.Cadre du Cycle de Vie d'un Programme
- Qualification de l'Échantillon Initial (First-Article) : Vérification complète de l'intégrité du signal (profil d'impédance TDR, extraction de paramètres S jusqu'à 67 GHz, mesure de diagramme de l'œil en 112G PAM4), caractérisation thermique sous refroidissement liquide, et inspection dimensionnelle documentée selon la norme AS9102. Le dossier de données de qualification devient la référence de production pour la durée de vie du programme.
- Production de Prototypes : De 5 à 50 cartes pour le démarrage initial du système (bring-up), le développement de firmwares et les tests d'intégration, avec la prise en compte des demandes de modification technique (Engineering Change Orders - ECO) sous 48 heures pour faciliter les itérations rapides durant la phase critique de débogage du système.
- Certification de Planéité pour le Refroidissement Liquide : Vérification à 100 % de la planéité de la carte à ±0,2 % par profilométrie optique, documentée et traçable jusqu'aux numéros de série individuels, avec des données de planéité fournies dans un format lisible par machine pour qualifier l'assemblage de la plaque froide (cold plate).
- Fixation des Matériaux et Processus (Lock) sur 10 ans et + : L'outillage de fabrication, les spécifications des matériaux approuvés (incluant des sources alternatives pour les matériaux en fin de vie), les profils de lamination et les programmes de perçage sont conservés pour toute la durée de vie du programme. Cela garantit la production de cartes de rechange et l'expansion du système de 8 à 12 ans après la livraison initiale, sans exiger de requalification.
Programmes de PCB pour Supercalculateurs chez HILPCB
HILPCB fabrique des PCB pour supercalculateurs (supercomputing) destinés aux équipementiers système qui développent des machines pétaflopiques et exaflopiques, soutenant ainsi les programmes de laboratoires nationaux, d'agences de défense et d'instituts de recherche à travers trois continents.
Nos capacités englobent des fabrications HDI (High Density Interconnect) séquentielles jusqu'à 64 couches avec un alignement de ±1,5 mil, des matériaux à ultra-faible perte pour la signalisation 112G PAM4 à 56 GHz (avec une contribution de perte par canal PCB inférieure à 8 dB), des couches de cuivre épais de 4 à 6 oz pour la distribution de puissance des lames de 1 500 W et plus (résistance de plan sous 0,2 mΩ), l'intégration du refroidissement liquide (planéité de ±0,2 % vérifiée par profilométrie optique), des vias rétro-percés (back-drilled) avec une profondeur de stub < 5 mil (vérifiés à 100 %), ainsi qu'une fabrication de Classe 3 selon la norme IPC-6012 associée à un engagement contractuel sur les matériaux et procédés pour la durée d'une décennie.
FAQ sur les PCB pour Supercalculateurs
Pourquoi la planéité du PCB est-elle si strictement contrôlée sur les lames de supercalculateurs ?
Les lames de calcul exascale dissipent entre 1 500 W et 2 500 W et s'appuient sur un système de refroidissement liquide direct via des plaques froides (cold plates) devant adhérer parfaitement aux processeurs. Les tolérances de planéité d'un PCB standard (±0,75 %) induisent un gauchissement (warpage) suffisant pour rompre le contact avec le matériau d'interface thermique (TIM). Nous respectons une planéité de ±0,2 % afin d'assurer un transfert de chaleur efficace et d'éviter tout étranglement thermique (thermal throttling) du processeur.
Comment la résistance du plan de puissance affecte-t-elle une lame de calcul de 1 500 W ?
Lorsqu'on achemine des centaines d'ampères sous la barre des 1 V, même une résistance de plan minime (0,5 mΩ) peut générer plus de 100 W de pertes par effet Joule (I²R) sous forme de chaleur parasite (parasitic heating) à l'intérieur même du PCB. Cela impose le recours à des plans en cuivre épais de 4 à 6 oz, à des transitions via optimisées, ainsi qu'à une architecture de distribution 48V de type "direct-to-load" pour circonscrire les pertes électriques.
Qu'est-ce que l'"effet de tissage de fibre" (fiber weave effect) et quel est son impact sur les signaux 112G PAM4 ?
Aux fréquences de Nyquist de 56 GHz, les interstices microscopiques séparant les faisceaux de fibre de verre présents dans le FR-4 standard engendrent des variations périodiques d'impédance lorsqu'une piste de signal les franchit. Afin de contrecarrer ce phénomène, les cartes d'interconnexion de classe exascale recourent à des trames de verre mécaniquement étalées (mechanically spread-glass weaves) et à des diélectriques à ultra-faible perte pour préserver l'intégrité intégrale du signal.