Das photonische VRAM-Problem lösen: Architektur rund um die KI-Speicherwand

Das „photonische VRAM-Problem“ ist real, quantifiziert und strukturell – doch Silizium-Photonik löst es nicht in einem einzigen Schritt. Sie löst es über drei gestaffelte Horizonte, und nur der erste ist heute einsatzbereit. Dies ist eine verifizierte Untersuchung: Jede Zahl unten lässt sich auf eine peer-reviewte oder Primärquelle zurückführen, und die vier attraktivsten Herstelleraussagen, die wir fanden, wurden adversarial widerlegt und aus den Empfehlungen ausgeschlossen.

Der saubere Blick darauf: Photonik behebt zunächst den Interconnect (Energie pro Bit und Reichweite), was indirekt VRAM-Kapazität zurückgewinnt, indem es wertvollen Platz am Die-Rand freigibt. Erst später behebt sie die Speicherplatzierung durch optische Disaggregation und Pooling – der eigentliche „photonische VRAM“-Gewinn. Photonischer Speicher selbst (optisches RAM, In-Memory-Compute) bleibt eine Forschungswette.

1. Das Problem, quantifiziert

Der Engpass ist eine Speicher- und Interconnect-Wand, keine Compute-Wand. Über rund 20 Jahre (Gholami et al., AI and Memory Wall, IEEE Micro 2024) sind die Skalierungsraten stark auseinandergedriftet.

Compute überholte die Speicherbandbreite um ~600× und den Interconnect um ~2.000×. Darüber gelagert: Die Grösse von LLM-Modellen wuchs um 410× / 2 J., während der Speicher einer einzelnen GPU nur um 2× / 2 J. wuchs. Diese Lücke zwingt dazu, Modelle über viele Beschleuniger zu verteilen – und verwandelt ein Kapazitätsproblem in ein Interconnect-Problem, genau dort, wo Photonik Hebelwirkung hat. (Vorbehalt aus der Verifizierung übernommen: Die 410×-Zahl spiegelt Flaggschiff-/MoE-Modelle wider und überzeichnet das Wachstum dichter Modelle – doch die Lücke ist der Punkt.)

2. Warum HBM + elektrisches SerDes es nicht allein schliessen können

Zwei physikalische Obergrenzen, beide betreffen den Die-Rand – die Peripherie, die Ingenieure „Beachfront“ nennen:

• Compute skaliert mit der Die-Fläche; I/O skaliert mit dem Die-Umfang. HBM-PHYs und elektrisches SerDes konkurrieren um dieselbe begrenzte Uferlinie – man kann nicht unbegrenzt Speicherstapel und mehr Kupfer-I/O hinzufügen.
• Elektrisches SerDes stösst an eine Energie-pro-Bit- und Reichweiten-Wand (mehrere pJ/Bit, ~einige zehn cm). Treibt man die Bandbreite hoch, brechen Leistungsdichte und Signalintegrität zusammen. Deshalb erreicht Kupfer im Rack seine Grenze.

Die Konsequenz: HBM3E→HBM4 stapelt weiter, doch das Verhältnis von Speicher zu Compute ist fest ins Package eingeschweisst, und der Interconnect, der Speicher über Packages hinweg poolen liesse, ist elektrisch gedeckelt. Der verifizierte Branchenmechanismus – die optische Verbindung direkt in die XPU zu führen „gibt hochwertige Beachfront am Die-Rand frei, die neu genutzt werden kann, um die Menge an HBM innerhalb des XPU-Package deutlich zu erhöhen“ – ist der Weg, wie eine Interconnect-Technologie Kapazität zurückkauft.

3. Der photonische Werkzeugkasten – was jeder Ansatz tatsächlich leistet

4. Quantitative Machbarkeit (die Berechnung)

4.1 Energie pro Bit – die entscheidende Kennzahl

Elektrisches SerDes liegt bei mehreren pJ/Bit. Peer-reviewte optische Link-Elektronik liegt im Sub-pJ/Bit-Bereich: Ein 3D-integrierter Mikroresonator-Link erreicht insgesamt ~120 fJ/Bit (50 fJ/Bit TX bei 1 V Hub + 70 fJ/Bit RX; Nature Photonics 2025), und DWDM-Thermal-Tuning sinkt auf ~313–334 fJ/Bit (IEEE CICC 2024).

4.2 Bandbreitendichte – wo Elektrik nicht mithalten kann

Die Uferlinien-Dichte erreicht ~2,02 Tbps/mm (16,384 Tbps aus einem 8,10 mm langen Rand; CICC 2024) und die Flächendichte 5,3 Tb/s/mm² (3D-Transceiver; Nature Photonics 2025) – beide jenseits praktischer elektrischer Grenzen.

4.3 Die Disaggregations-Latenz-Rechnung – der tragende Kompromiss

Der lokale HBM-Zugriff liegt bei ~einigen zehn ns; der gepoolte Celestial-Gen1-Wert liegt bei ~200 ns. Dieser Zuschlag von ~150 ns ist für bandbreitengebundenes Streaming (Gewichts-/Aktivierungsverkehr) unsichtbar, aber eine reale Abgabe auf latenzgebundenen Zufallszugriff (KV-Cache, Attention während des Decodings). Diese eine Zahl entscheidet, welche Workloads gepooltes VRAM vertragen – und sie beruht auf einer einzigen Herstellerangabe, validieren Sie sie also, bevor Sie sich festlegen.

5. Die architektonische Lösung – drei Horizonte

Horizont 1 (jetzt → ~2 J.): optisches Fabric, elektrischer Speicher

Design. Halten Sie HBM lokal und elektrisch; ersetzen Sie Scale-up-/Scale-out-SerDes durch UCIe-optical-I/O-Chiplets und CPO-Switching. Standardisieren Sie auf eine elektrische UCIe-Schnittstelle + protokollagnostischen optischen PHY, sodass dieselbe Optik CXL / NVLink / UALink / Ethernet trägt.

Gewinn. ~65–73 % Reduktion der Link-Leistung (Meta massgemessen 65 %: 5,4 W vs. 15 W pro 800G), grössere Reichweite und freigegebene Beachfront → mehr HBM im Package. Mehr effektives VRAM, ohne die Speichersemantik anzutasten.

Kompromiss. Durchbricht das feste HBM:Compute-Verhältnis noch nicht und führt ein CPO-Wartbarkeitsrisiko ein (§6).

Horizont 2 (~2–5 J.): optisch disaggregiertes / gepooltes HBM

Design. Lösen Sie HBM aus dem Package heraus in optisch angebundene Speicherpools über CXL-artige Fabrics (Photonic Fabric / Marvell-CXL-Switch-Vorlage). Compute-Knoten beziehen Kapazität elastisch aus einem gemeinsamen Pool.

Gewinn. Die eigentliche „photonische VRAM“-Lösung – Kapazität skaliert unabhängig vom GPU-Die; dimensionieren Sie den Speicher je Job passend und hören Sie auf, HBM brachliegen zu lassen.

Kompromiss & Minderung. Die ~200-ns-Abgabe. Entwerfen Sie ein gestuftes Speichermodell – heisser/latenzkritischer Zustand (KV-Cache, aktueller Layer) bleibt lokal; warmer/bandbreitengebundener Zustand (Gewichte, kalte Experten, langer Kontext) lebt im optischen Pool.

Horizont 3 (5 J.+, Forschungswette): photonisches In-Memory / Compute-in-Network

Design. Verlagern Sie das Rechnen in die optische/Speicher-Domäne – pSRAM-In-Memory-Arrays (~0,9–1,5 TOPS, ~2,5 TOPS/W, 0,5 pJ/Switch, gefertigt in GF 45SPCLO) und Compute-in-Network-Reduktionen auf dem Fabric.

Status. Bitzelle gefertigt, doch der Systemdurchsatz ist simuliert, nicht in Silizium gemessen. Ein Hedge / Beobachtungspunkt, kein Plan.

6. Risiken – was dies tatsächlich zunichtemacht

Jedes Risiko unten wurde unabhängig verifiziert. Die entscheidenden Blocker sind betrieblich, nicht physikalisch.

1. Laser-Wall-Plug-Effizienz ~10 % (III-V-on-Si-DFB ~16 %). Der unglamouröse dominante Verlust; jeder „Sub-pJ/Bit-Link“ schliesst ihn stillschweigend aus. Minderung: externe / gemeinsam genutzte Laserbänke (ELSFP).
2. CPO durchbricht das Hot-Swap-Modell. Ein ausgefallener eingebetteter optischer Motor kann den Austausch eines ganzen Package/Boards erzwingen statt eines frontseitigen Pluggable – ein Problem der Betriebswirtschaft. Minderung: abnehmbare optische Baugruppen / FRUs mit externem Laser.
3. 3D-Stack-Thermik. Vertikales Stapeln konzentriert Wärme und kann die optische Dichte deckeln, bevor die Bauelementphysik es tut; 2,5D-/laterale Integration verschlechtert sich anmutiger. (Die stärkere Behauptung, dass die Thermik die alleinige Obergrenze sei, wurde 0–3 widerlegt.)
4. Fragmentierung des Ökosystems. Offene Frage, ob der Markt auf UCIe-optical + CXL/UALink (mehrherstellerfähige Pools) konvergiert oder in proprietäre Fabrics (NVLink, Marvell/Celestial) zerfällt. Ein die Architektur betreffendes Standardrisiko.

7. Bewusst NICHT herangezogene Behauptungen (adversarial widerlegt)

Diese attraktiv klingenden Behauptungen überstanden die Verifizierung nicht und sind aus den Empfehlungen ausgeschlossen:

Behandeln Sie auch die Leistungszahlen der Hersteller (Celestial 16 Tbps / 25×, Ayar 8 Tbps) als architektonisch verifiziert, aber nicht unabhängig gebenchmarkt.

8. Konkrete Empfehlungen

1. Zuerst beim Fabric einführen, Speicher später. Optisches I/O + CPO für Scale-up/Scale-out ist die einzige Stufe mit echtem ROI jetzt (65–73 % Link-Leistung, freigegebene Beachfront → mehr lokales HBM). Tun Sie dies unabhängig von jeder Disaggregations-Wette.
2. Standardisieren Sie auf UCIe-optical + CXL-Semantik. Der einzige Weg zu mehrherstellerfähigem, optisch gepooltem Speicher; sichert gegen Fragmentierungsrisiko ab. Vermeiden Sie es, sich an ein proprietäres Fabric zu schweissen.
3. Charakterisieren Sie die ~200-ns-Abgabe für Ihre Workloads, bevor Sie poolen. Bandbreitengebunden → aggressiv poolen. Latenzgebundenes Decoding → lokal halten. Bauen Sie das gestufte Heiss/Warm-Modell explizit auf.
4. Budgetieren Sie für Lasereffizienz und Wartbarkeit, nicht nur für pJ/Bit des Links. Diese, nicht die Bauelementphysik, sind es, die den Einsatz aufhalten. Verlangen Sie Designs mit externem Laser / FRU-Wartbarkeit.
5. Finanzieren Sie photonisches In-Memory-Compute nur als Beobachtungspunkt. Noch kein in Silizium validiertes System.

9. Als Nächstes zu klärende offene Fragen

• Echte End-to-End-Energie pro Bit optischer Links auf Systemebene einschliesslich Laser-Wall-Plug-Leistung (~10 %) gegenüber elektrischem HBM4/HBM3E-Zugriff – überlebt der Sub-pJ/Bit-Vorteil eine vollständige Abrechnung?
• Wie stark verschlechtert die ~200-ns-Pooling-Latenz reale Zufallszugriffs-Workloads (KV-Cache, Attention), und welche Workloads vertragen gepooltes HBM gegenüber solchen, die lokales HBM erfordern?
• Können CPO-Wartbarkeit und Laserzuverlässigkeit eine für Rechenzentren akzeptable FRU-Ökonomie erreichen, und welche MTBF-/Reparatur-Schwellen müssen erfüllt sein, bevor Hyperscaler Pluggables im Massstab ersetzen?
• Wird das Ökosystem auf einen Standard-Stack (UCIe-optical + CXL/UALink) konvergieren oder in proprietäre Fabrics zerfallen?

Wichtige Quellen

• Gholami et al., AI and Memory Wall, IEEE Micro 2024 — arXiv:2403.14123
• Celestial AI, Photonic Fabric for Memory & Compute Disaggregation, OFC 2025 W3D.1 — Optica
• Marvell–Celestial AI acquisition release (Dez. 2025) — investor.marvell.com
• Ayar Labs — world's first UCIe optical chiplet (Mär. 2025) — BusinessWire
• Columbia Lightwave, IEEE CICC 2024 (Uferlinien-Dichte, Thermal-Tuning-Energie) — PDF
• Nature Photonics 2025 (120 fJ/Bit, 5,3 Tb/s/mm²) — nature.com
• Nature Communications Silizium-Photonik-Roadmap (Laser-WPE) — PMC10811194
• IET Optoelectronics 2021 (Pluggable-vs-CPO-Verzweigung) — Wiley
• pSRAM-In-Memory-Compute — arXiv:2602.00892