Supercomputer treiben die Hardware an ihre absoluten physikalischen Grenzen — Zehntausende von Prozessorknoten, jeder bei maximaler Leistung und Taktrate, verbunden durch Netzwerke, die eine aggregierte Bandbreite von Petabits pro Sekunde transportieren. Die schnellsten Systeme der Welt — Frontier in Oak Ridge (1,2 EFLOPS), Aurora in Argonne (1,0 EFLOPS) und LUMI am CSC in Finnland — enthalten PCBs (Leiterplatten), die gleichzeitig an den Extremen der Signalgeschwindigkeit (112G PAM4 bei 56 GHz), der Leistungsdichte (>1.500 W pro Blade) und des Wärmemanagements (direkte Flüssigkeitskühlung bei 25°C Einlasstemperatur) unter Dauerlast über Jahre hinweg arbeiten, ohne dass ein Wartungszugang zu den einzelnen Boards besteht.
Das Supercomputing-PCB im Inneren jedes Compute-Blades, Netzwerk-Switch-Moduls und I/O-Subsystems ist nicht einfach ein Hochleistungs-Serverboard — es operiert an den Grenzen der Fertigungsmachbarkeit, wo Toleranzen, die bei Standardboards noch komfortable Margen bieten, zu ertragsmindernden Faktoren werden. Eine Genauigkeit bei der Lagenregistrierung, die bei 16 Lagen funktioniert, versagt bei 28 Lagen. Eine Impedanztoleranz, die bei 10 GHz ausreicht, führt bei 56 GHz zu Link-Fehlern. Ein Kupfergewicht, das für 300 W ausreicht, führt bei 1.500 W zu Thermal Runaway (thermischem Durchgehen).
HILPCB fertigt Supercomputing-PCBs mit bis zu 64 Lagen für Systemanbieter, die Petascale- und Exascale-Maschinen der nächsten Generation bauen — und beliefert damit Programme nationaler Labore und Verteidigungsbehörden in den USA, Europa und Japan sowie aufstrebende HPC-Programme (High Performance Computing) im Nahen Osten und in Südostasien.
Menü-Navigation
- Exascale-PCB-Design: Jenseits konventioneller Grenzen
- Direkte Flüssigkeitskühlung auf Board-Ebene
- Stromversorgung für 1500W+ Compute-Blades
- High-Radix Netzwerk-Switch-Boards bei 112G PAM4
- Fertigung an den Grenzen der Prozessfähigkeit
- Jahrzehntelanger Lifecycle-Support für nationale Programme
Exascale-PCB-Design: Jenseits konventioneller Grenzen
Ein Exascale-Supercomputer (10¹⁸ FLOPS) enthält 10.000–100.000 Rechenknoten, die durch eine aggregierte Bisektionsbandbreite von über 1 Pb/s miteinander verbunden sind. Das Frontier-System in Oak Ridge nutzt 9.408 Rechenknoten, von denen jeder eine AMD Trento CPU (280 W) und vier AMD MI250X GPUs (je 560 W) auf einem einzigen Blade-PCB enthält, das über 2.500 W abführt. Jedes Node-PCB arbeitet an den Leistungsgrenzen kommerzieller Halbleiter, während gleichzeitig die Zuverlässigkeit über eine Flotte hinweg aufrechterhalten werden muss, in der statistische Ausfälle an der Tagesordnung sind.Die Design-Herausforderungen, die Supercomputing-PCBs von allen anderen Computing-Kategorien unterscheiden, sind keine bloßen inkrementellen Erweiterungen der Anforderungen an Serverboards — es sind qualitativ völlig unterschiedliche Problemstellungen:
- Signalgeschwindigkeiten an den physikalischen Grenzen des Substrats: Interconnects der nächsten Generation forcieren 112G PAM4 pro Lane, wobei 224G PAM4 bereits auf der Roadmap steht. Dies erfordert Kanäle mit einer Einfügedämpfung (Insertion Loss) von unter 12 dB bei der 56-GHz-Nyquist-Frequenz und nähert sich damit dem grundlegenden Floor des dielektrischen Verlusts organischer PCB-Substrate. Bei diesen Frequenzen trägt selbst HVLP-Kupferfolie mit Rz < 1,0 μm messbar zum Leiterverlust bei, und herkömmliche Glasgewebe-Verstärkungen erzeugen periodische Impedanzvariationen (Fiber-Weave-Effekt), die durch Fabric-Skew-Routing oder Spread-Glass-Laminate gemindert werden müssen.
- Obligatorische Flüssigkeitskühlung: Blades, die 1.500–2.500 W abführen, können bei keiner praktikablen Luftströmungsgeschwindigkeit mehr luftgekühlt werden. Direkte Flüssigkeitskühlung (Direct Liquid Cooling) mit Cold Plates (Kühlplatten), die Prozessordeckel (und zunehmend auch die PCB-Oberfläche selbst) kontaktieren, stellt Anforderungen an die Ebenheit des Boards, das Kondensationsmanagement und schnelle thermische Zyklen, die es bei luftgekühlten Systemen schlichtweg nicht gibt.
- Mathematik der Ausfallsicherheit im Flottenmaßstab: Bei 50.000 Knoten und einer MTBF (Mean Time Between Failures) von 500.000 Stunden pro Knoten tritt etwa alle 10 Stunden ein Knotenausfall auf. Die Zuverlässigkeit auf Board-Ebene bestimmt direkt die Systemverfügbarkeit — eine Verbesserung der Board-MTBF um 10 % bedeutet 10 % mehr anhaltenden Rechendurchsatz für die gesamte Maschine.
- Service-Verpflichtung über ein Jahrzehnt: Milliarden-Dollar-Investitionen mit Betriebslebensdauern von 7–12 Jahren erfordern PCBs, die weit über den Standardzyklus kommerzieller Produkte von 3–5 Jahren hinaus zuverlässig bleiben. Dies verlangt eine Materialstabilitätsvalidierung unter beschleunigten Alterungsbedingungen und langfristige Supply-Chain-Verpflichtungen für die Produktion von Ersatzboards.
Direkte Flüssigkeitskühlung auf Board-Ebene
Supercomputing-Blades mit 1.000–2.500 W haben die Luftkühlung vollständig hinter sich gelassen. Aktuelle Exascale-Systeme nutzen direkte Flüssigkeitskühlung mit Cold Plates, die Anlage-Wasser (Facility Water) von 25–35°C direkt an die Prozessor-Packages über in das Compute-Blade integrierte Verteiler (Manifolds) leiten. Dies schafft PCB-Design-Anforderungen, die in keiner anderen Computing-Kategorie vorhanden sind — und verändert grundlegend das Verhältnis zwischen dem PCB und seiner thermischen Umgebung.In einem luftgekühlten System erfährt das PCB allmähliche Temperaturgradienten und langsame thermische Transienten. In einem direkt flüssigkeitsgekühlten System ist das PCB extremen Temperaturgradienten (Prozessor bei 85°C, benachbarter Platinenbereich bei 30°C innerhalb von 20 mm), schnellen thermischen Transienten (Temperaturschwankung von 30°C in unter 5 Sekunden während Lastwechseln) sowie mechanischen Belastungen durch Montagevorrichtungen für Cold Plates ausgesetzt, die eine anhaltende Druckspannung auf der Board-Oberfläche erzeugen.
Integration von Flüssigkeitskühlung auf PCBs
- Präzision bei der Cold-Plate-Montage: Präzise Montage-Features (Gewindeeinsätze, Ausrichtungsstifte, federbelastete Haltemechanismen) positionieren die Kontaktfläche der Cold Plate auf ±25 μm genau zum Prozessordeckel. Die Ebenheitstoleranz des Boards wird vom Standard (±0,75 %) auf ±0,2 % der Diagonale verschärft, um einen gleichmäßigen TIM-Kontakt (Thermal Interface Material) zu gewährleisten — verifiziert durch 100 % optische Profilometrie bei jedem Serienboard.
- Kondensationsmanagement: Gekühltes Wasser, das unter dem Taupunkt der Umgebung liegt (häufig in tropischen Klimazonen und bei Umstellungen der Anlagenkühlung), birgt ein Kondensationsrisiko auf Cold-Plate-Oberflächen und benachbarten PCB-Bereichen. Selektive Schutzlackierung (Conformal Coating, Parylene oder Silikon) in der Nähe von Cold-Plate-Schnittstellen auf High-Tg-Laminaten, absichtlich gestaltete Drainagekanäle, die Kondenswasser von aktiven Schaltungen wegleiten, und wasserabweisende (hydrophobe) Oberflächenbehandlung auf exponiertem Kupfer.
- Widerstandsfähigkeit gegen schnelle thermische Zyklen: Flüssigkeitskühlung erzeugt während Lastübergängen (Leerlauf zu Volllast und umgekehrt) Temperaturschwankungen des Boards von 30°C in 3–5 Sekunden. High-Tg-Materialien (Tg ≥ 180°C, T260 > 60 min, T288 > 30 min) mit niedrigem Z-Achsen-CTE (Wärmeausdehnungskoeffizient < 3,0 %/°C unter Tg) verhindern Delamination, Rissbildung in den Via-Hülsen (Barrel Cracking) und Ermüdung der Vias unter mehr als 100.000 schnellen thermischen Zyklen im Laufe der 10-jährigen Systemlebensdauer.
- Technisches Design für Fluid-Connector-Freiräume: Schnellkupplungen (typischerweise tropffreie Blind-Mate-Kupplungen) erfordern 25–35 mm Freiraum an der Platinenkante für Steckergehäuse, Schlauchführung und Werkzeugzugang. Dies beansprucht wertvollen Platz auf dem Board und schränkt die Bauteilplatzierung auf dem gesamten PCB ein. Solche Keepout-Zonen müssen in der frühesten Phase der Schaltplanprüfung (Schematic Review) festgelegt und nicht erst während der mechanischen Integration entdeckt werden.
Stromversorgung für 1500W+ Compute-Blades
Supercomputer-Blades der nächsten Generation — Dual-CPUs (je 350 W) plus vier GPU-Beschleuniger (je 500 W) zuzüglich Speicher und I/O — ziehen insgesamt über 2.700 W, die alle auf dem Blade-PCB von 48-V-Busstrom in mehrere Core-Spannungsschienen von unter 1 V umgewandelt werden. Diese Leistungskonzentration übersteigt jede andere kommerzielle PCB-Anwendung um den Faktor 3 bis 5 und erzeugt Stromdichten, die Ansätze zur Stromversorgung erfordern, die eher der industriellen Leistungselektronik als dem konventionellen Serverdesign entlehnt sind.Bei diesen Leistungspegeln sind resistive Verluste in den Kupferlagen (Planes) des PCBs nicht nur eine Frage der Effizienz — es ist eine Frage der thermischen Stabilität. Eine Umwandlung von 48 V zu 0,75 V bei 500 A erzeugt 375 W in der Last, aber selbst 0,5 mΩ Widerstand der Kupferplane fügt 125 W an I²R-Verlusten hinzu, die über das Kupfer verteilt werden. Dies erzeugt eine lokale Erhitzung, die den Widerstand in einer positiven Rückkopplungsschleife (Feedback Loop) weiter erhöht.
Extreme Power-Delivery-Architektur
- Direkte Umwandlung von 48V zur Last: Die Eliminierung des intermediären 12-V-Busses reduziert Verteilungsverluste um das 4- bis 6-fache und den Kabelquerschnitt um das 16-fache. Blade-PCBs tragen 48V-zu-Vcore-Wandler (typischerweise 48V-zu-1V mittels einer zweistufigen Architektur: 48V-zu-8V LLC + 8V-zu-Vcore Multiphase-Buck). Das Routing ist für transiente Schaltereignisse höherer Spannungen (48-V-Ringing bei 50–100 MHz) auf dedizierten Multilayer-Powerlagen mit entsprechenden Kriechstrecken ausgelegt.
- Stromnetzwerke aus dickem Kupfer: Ein Prozessorstrom von über 600 A bei 0,75 V erfordert einen Plane-Widerstand von unter 0,2 mΩ — erreicht durch 4–6 oz Dickkupfer (Heavy Copper) Güsse mit minimal 50 mm Breite, mehrfachen parallelen Via-Verbindungen (40+ Vias pro Leistungsübergang) zwischen den Lagen und minimierten Lagenübergängen zwischen dem VRM-Ausgang und den Power-Balls des Prozessor-Packages.
- Dynamische Spannungsantwort: Dezentrale Entkopplung (Distributed Decoupling) mit Ultra-Low-ESL-Kondensatoren (LICC oder Reverse-Geometry MLCC), die durch Vollwellen-Impedanzsimulation platziert werden, hält die Core-Spannung während der für GPU-Kernel-Starts charakteristischen 300-A/μs-Transienten innerhalb von ±5 mV. Diese Transienten sind 50 % schneller als CPU-Lastwechsel und erfordern eine entsprechend geringere PDN-Induktivität (Power Delivery Network).
- Thermische Integration der Power Planes: Die Verteilung von dickem Kupfer auf Power-Lagen wird mit der Platzierung von thermischen Vias koordiniert. Kupferlagen mit 4–6 oz dienen gleichzeitig der Stromversorgung und der lateralen Wärmeverteilung (Heat Spreading). Kupfer-Einschnitte (Plane Splits), die für die Isolation von Spannungsdomänen erforderlich sind, erzeugen jedoch thermische Barrieren, die mit dedizierten Thermal-Via-Arrays überbrückt werden müssen.
High-Radix Netzwerk-Switch-Boards bei 112G PAM4
Supercomputer-Interconnect-Netzwerke verwenden 64- bis 128-Port-Switches mit High-Radix-Topologien (Dragonfly, Fat-Tree, Torus), wodurch der Netzwerkdurchmesser und die Tail-Latenz (Tail Latency) minimiert werden. Das Switch-PCB routet über 64 Ports mit 400G/800G-Traffic durch einen zentralen ASIC — das führt zu einem der anspruchsvollsten [High-Speed-PCB](/products/high-speed-pcb/)-Designs überhaupt, bei dem jeder Quadratmillimeter Boardfläche Signalbahnen trägt, die bei Frequenzen arbeiten, bei denen das PCB-Substrat sich seinen fundamentalen Verlustgrenzen nähert.Ein 128-Port 400G-Switch-ASIC hat etwa 4.096 SerDes-Lanes bei 112G PAM4 (für 800G-Ports zeichnet sich bereits 224G PAM4 ab), die jeweils einen Kanal erfordern, der die IEEE 802.3ck Spezifikationen für Einfüge- und Rückflussdämpfung erfüllt. Das Routing von 4.096 differentiellen Paaren von einem einzigen ASIC zu kantenmontierten (edge-mounted) OSFP-Steckverbindern auf einem Board mit den Abmessungen von etwa 400×500 mm stellt die am stärksten geometrisch eingeschränkte High-Speed-Routing-Herausforderung in der kommerziellen Elektronik dar.
Switch-Board Design und Fertigung
- Massive SerDes-Dichte: 4.096 differentielle Paare bei 112G PAM4 strahlen vom Switch-ASIC-BGA (über 7.000 Balls im Raster von 0,8 mm) zu am Rand montierten OSFP/QSFP-DD112-Cages aus, auf Platinen mit 24–36 Lagen und 3/3 mil Line/Space (Leiterbahnbreite/-abstand) auf inneren Signallagen. Dies erfordert den Einsatz von HDI-Konstruktionen mit sequenziellem Laminieren für das ASIC-Escape-Routing (Herausführen der Leitungen).
- Verlust-Budget bei 56 GHz: Der gesamte Kanal muss bei 56 GHz Nyquist unter 25 dB liegen, wobei das PCB <8 dB beitragen darf. Dies verlangt nach Ultra-Low-Loss-Materialien (Dk 3.0, Df < 0.0015 bei 28 GHz, wie Panasonic Megtron 7 oder gleichwertig), HVLP/RTF Kupferfolie (Rz < 1,0 μm) und Spread-Glass- oder mechanisch ausgewogenem Glasgewebe (mechanically balanced weave), um den Fiber-Weave-Effekt bei 56 GHz zu eliminieren.
- Thermische Herausforderung des Switch-ASIC: 300–600 W Verlustleistung des Switching-ASIC konzentrieren sich auf eine Die-Fläche von 50×50 mm — dies erfordert ein komplexes Power Delivery und Thermal Management, das dem von GPU-Beschleunigerkarten entspricht, mit der zusätzlichen Einschränkung, dass das ASIC an allen vier Seiten von High-Speed-Routing umgeben ist, das keinen Platz für Thermal-Via-Arrays lässt.
- Back-Drill Präzision bei 56 GHz: Die Via-Stubs (Überstände) werden durch lasergeregistriertes Tiefenbohren (Back-Drilling) mit 100 % Tiefenkontrolle mittels automatisierter Querschliffanalyse auf <5 mil begrenzt. Bei 56 GHz erzeugt jedes mil eines überschüssigen Stubs eine Viertelwellen-Resonanzkerbe (Quarter-Wave Resonance Notch), die den Signalabstand (Channel Margin) um ca. 1 dB reduziert.
Fertigung an den Grenzen der Prozessfähigkeit
Supercomputer-PCBs erfordern Fertigungsprozesse, die bei Parametern mit einem dokumentierten Cpk-Wert >1,33 arbeiten, während die Standardproduktion bei Cpk 1,0 oder niedriger läuft. Die Differenz zwischen diesen Fähigkeitsniveaus entscheidet darüber, ob die Ausbeute bei einer 28-lagigen Platine bei 90 %+ liegt (kommerziell tragfähig) oder bei 60 % (kommerziell katastrophal bei $800+ pro nackter Leiterplatte).Die Supercomputing-Fertigungsprozesse von HILPCB werden auf erhöhtem Präzisionsniveau charakterisiert und überwacht — Prozessfähigkeitsdaten (Process Capability Data) stehen dem Kunden während der Programm-Qualifizierung zur Prüfung zur Verfügung.
Kritische Fertigungsparameter
- Lagenregistrierung: ±1,5 mil über 24–36 lagige sequentielle Aufbauten (Fähigkeit erstreckt sich auf bis zu 64 Lagen), verifiziert durch Röntgengestützte Zielmessung bei jedem Laminierzyklus. Dies verhindert eine Fehlausrichtung zwischen Via und Pad auf BGA-Escape-Routings im 0,5 mm Raster (Pitch).
- Impedanzkontrolle: ±5 % (gegenüber dem Standard von ±10 %), was SPC-gesteuertes Ätzen (Statistical Process Control) mit Echtzeit-Kompensation des Ätzfaktors, Laminieren mit einer Dielektrikumsdicke-Kontrolle von ±0,5 mil und eine Gewichtskontrolle der Eingangskupferfolie für jede Charge erfordert.
- Bohrregistrierung für Back-Drilling: ±1,5 mil für back-gebohrte Vias (Back-Drilled Vias), um eine Stub-Länge von <5 mil beizubehalten — durch den Einsatz von bildverarbeitungsgestütztem Bohren (Vision-System) mit Bohr-Tiefenrückkopplung und statistischer Verifikation durch automatisierte Querschliffmessung.
- SMT-Bestückung für Ultra-Fine-Pitch: Bestückung von BGAs mit über 7.000 Balls mit einer Genauigkeit von ±15 μm, ergänzt durch 100 % Röntgeninspektion nach dem Reflow-Prozess zur Verifikation von Voids (Hohlräumen) von unter 20 % pro Ball und <15 % auf Wärmeleitpads (Thermal Pads) — strengere Grenzen als die 25 %-Norm von JEDEC, um eine konsistente Thermal-Interface-Leistung zu gewährleisten.
Jahrzehntelanger Lifecycle-Support für nationale Programme
Supercomputer-Programme erstrecken sich über 3–5 Jahre von der Entwicklung bis zur Inbetriebnahme, haben eine Betriebslebensdauer von 7–12 Jahren und umfassen Programm-Gesamtinvestitionen, die häufig 500 Millionen US-Dollar übersteigen. Boardqualität und Fertigungskontinuität entscheiden direkt über die Rendite dieser Investitionen im nationalen Maßstab. Ein Hersteller, der 8 Jahre nach der Erstproduktion keine identischen Ersatzboards produzieren kann, erzwingt ein kostspieliges Redesign des Systems oder dessen vorzeitige Ausmusterung.Framework für den Programmlebenszyklus
- Erstmuster-Qualifikation (First-Article Qualification): Vollständige Verifikation der Signalintegrität (SI) (TDR-Impedanzprofilierung, S-Parameter-Extraktion bis 67 GHz, Augendiagramm-Messung bei 112G PAM4), thermische Charakterisierung unter Flüssigkeitskühlung sowie dokumentierte Maßkontrolle gemäß AS9102. Das Qualifizierungs-Datenpaket wird zur Produktionsreferenz für die gesamte Lebensdauer des Programms.
- Prototypen-Fertigung: 5–50 Boards für Systeminbetriebnahme (Bring-up), Firmware-Entwicklung und Integrationstests, mit Integration von Engineering Change Orders (ECOs) innerhalb von 48 Stunden für schnelle Iterationen während der kritischen Debugging-Phase des Systems.
- Zertifizierung der Ebenheit für Flüssigkeitskühlung: 100 % Verifikation der Board-Ebenheit auf ±0,2 % mithilfe optischer Profilometrie — dokumentiert und rückverfolgbar auf individuelle Seriennummern. Die Ebenheitsdaten werden in einem maschinenlesbaren Format für die Qualifikation der Cold-Plate-Montage zur Verfügung gestellt.
- 10+ Jahre Material- und Prozessbindung (Lock): Fertigungswerkzeuge, zugelassene Materialspezifikationen (einschließlich alternativer Quellen für abgekündigte Materialien / End-of-Life), Laminierprofile und Bohrprogramme werden für die gesamte Lebensdauer des Programms aufbewahrt. Dies ermöglicht die Produktion von Ersatzboards und Systemerweiterungen noch 8–12 Jahre nach der Erstauslieferung, ohne erneute Qualifikation.
Supercomputing-PCB Programme bei HILPCB
HILPCB fertigt Supercomputing-PCBs für Systemanbieter, die Petascale- und Exascale-Maschinen bauen — und bedient damit Programme an nationalen Laboren, Verteidigungsbehörden und Forschungseinrichtungen auf drei Kontinenten.
Unsere Fähigkeiten umfassen bis zu 64-lagige sequentielle HDI-Aufbauten mit ±1,5 mil Registrierung, Ultra-Low-Loss-Materialien für 112G PAM4-Signaling bei 56 GHz mit <8 dB PCB-Kanalbeitrag, 4–6 oz dickes Kupfer für 1.500W+ Blade Power Delivery mit einem Plane-Widerstand von unter 0,2 mΩ, Flüssigkeitskühlung-Integration mit ±0,2 % Ebenheit (verifiziert durch optische Profilometrie), back-gebohrte Vias (Back-Drilled Vias) mit <5 mil Stub-Tiefe und 100 % Verifikation sowie IPC-6012 Klasse 3 Fertigung mit einer jahrzehntelangen Material- und Prozessverpflichtung (Lifecycle Commitment).
Supercomputing-PCB FAQ
Warum wird die PCB-Ebenheit für Supercomputing-Blades so streng kontrolliert?
Exascale Compute Blades führen 1.500 W bis 2.500 W ab und sind auf Direct-Liquid-Cooling (direkte Flüssigkeitskühlung) angewiesen, bei der die Cold Plates perfekt auf den Prozessoren anliegen müssen. Standard-PCB-Ebenheitstoleranzen (±0,75 %) erlauben so viel Wölbung (Warpage), dass der Kontakt zum Thermal Interface Material (TIM) abreißen kann. Wir halten eine Ebenheit von ±0,2 % ein, um einen effizienten Wärmeübergang zu garantieren und Thermal Throttling (thermisch bedingtes Heruntertakten) zu verhindern.
Wie wirkt sich der Widerstand der Power Plane auf ein 1.500W Compute-Blade aus?
Wenn Hunderte von Ampere bei Sub-1V-Spannungen geliefert werden, können selbst 0,5 mΩ Widerstand in der Power Plane über 100 W parasitäre I²R-Erwärmung innerhalb des PCBs selbst erzeugen. Dies erfordert den Einsatz von 4-6 oz Dickkupfer-Planes (Heavy Copper), optimierte Via-Übergänge und eine 48V Direct-to-Load-Architektur, um Verteilungsverluste zu minimieren.
Was ist der "Fiber Weave Effect" und wie beeinflusst er 112G PAM4-Signale?
Bei Nyquist-Frequenzen von 56 GHz verursachen die mikroskopischen Lücken zwischen den Glasfaserbündeln im Standard-FR-4 periodische Impedanzschwankungen, wenn eine Signalbahn diese kreuzt. Um dies zu verhindern, verwenden Exascale-Interconnect-Boards mechanisch ausgebreitete Glasgewebe (Spread-Glass Weaves) und Ultra-Low-Loss-Dielektrika, um eine unverfälschte Signalintegrität aufrechtzuerhalten.