Het photonic VRAM-vraagstuk oplossen: architectuur rond de AI-geheugenmuur

Het "photonic VRAM-vraagstuk" is reëel, gekwantificeerd en structureel — maar silicium-fotonica lost het niet in één beweging op. Het lost het op over drie gefaseerde horizonten, en alleen de eerste is vandaag inzetbaar. Dit is een geverifieerd onderzoek: elk cijfer hieronder is te herleiden tot een peer-reviewed of primaire bron, en de vier aantrekkelijkste leveranciersclaims die we vonden werden adversarieel weerlegd en uitgesloten van de aanbevelingen.

De heldere manier om het te bekijken: fotonica repareert eerst de interconnect (energie-per-bit en reikwijdte), wat indirect VRAM-capaciteit terugwint door ruimte aan de dierand vrij te maken. Pas later repareert het de geheugenplaatsing via optische disaggregatie en pooling — het eigenlijke "photonic VRAM"-voordeel. Fotonisch geheugen zelf (optische RAM, in-memory compute) blijft een onderzoeksgok.

1. Het probleem, gekwantificeerd

De bottleneck is een geheugen-en-interconnectmuur, geen rekenmuur. Over ongeveer 20 jaar (Gholami et al., AI and Memory Wall, IEEE Micro 2024) liepen de schaalsnelheden scherp uiteen.

Rekenkracht liep ~600× voor op de geheugenbandbreedte en ~2.000× op de interconnect. Daar bovenop gelaagd: de omvang van LLM-modellen groeide met 410× / 2 jr, terwijl het geheugen per enkele GPU slechts met 2× / 2 jr groeide. Die kloof dwingt modellen om over veel accelerators te worden verdeeld — waardoor een capaciteitsprobleem verandert in een interconnectprobleem, precies daar waar fotonica hefboomwerking heeft. (Voorbehoud overgenomen uit de verificatie: het cijfer van 410× weerspiegelt vlaggenschip-/MoE-modellen en overdrijft de groei van dense modellen — maar het gaat om de kloof.)

2. Waarom HBM + elektrische SerDes het niet alleen kunnen dichten

Twee fysieke plafonds, beide over de dierand — de omtrek die ingenieurs de "beachfront" noemen:

• Rekenkracht schaalt met het oppervlak van de die; I/O schaalt met de omtrek van de die. HBM-PHY's en elektrische SerDes strijden om dezelfde eindige kustlijn — je kunt niet eindeloos geheugenstapels en meer koperen I/O blijven toevoegen.
• Elektrische SerDes stuiten op een muur van energie-per-bit en reikwijdte (meerdere pJ/bit, ~tientallen cm). Duw de bandbreedte omhoog en de vermogensdichtheid en signaalintegriteit storten in. Dit is waarom koper binnen het rack zijn plafond bereikt.

Het gevolg: HBM3E→HBM4 blijft stapelen, maar de verhouding tussen geheugen en rekenkracht is in de package vastgelast, en de interconnect die je geheugen over packages heen zou laten poolen, is elektrisch begrensd. Het geverifieerde industriemechanisme — de optische verbinding rechtstreeks in de XPU maken "maakt zeer waardevolle randruimte aan de dierand vrij, die kan worden hergebruikt om de hoeveelheid HBM binnen de XPU-package aanzienlijk te vergroten" — is hoe een interconnecttechnologie capaciteit terugkoopt.

3. De fotonische gereedschapskist — wat elke aanpak daadwerkelijk doet

4. Kwantitatieve haalbaarheid (de berekening)

4.1 Energie per bit — de doorslaggevende maatstaf

Elektrische SerDes zitten op meerdere pJ/bit. Peer-reviewed optische linkelektronica bevindt zich in het sub-pJ/bit-regime: een 3D-geïntegreerde microresonatorlink haalt in totaal ~120 fJ/bit (50 fJ/bit TX bij 1 V swing + 70 fJ/bit RX; Nature Photonics 2025), en DWDM thermische afstemming daalt tot ~313–334 fJ/bit (IEEE CICC 2024).

4.2 Bandbreedtedichtheid — waar elektrisch niet kan volgen

De kustlijndichtheid bereikt ~2,02 Tbps/mm (16,384 Tbps uit een rand van 8,10 mm; CICC 2024) en de oppervlaktedichtheid 5,3 Tb/s/mm² (3D-transceiver; Nature Photonics 2025) — beide voorbij de praktische elektrische limieten.

4.3 De disaggregatie-latentie-rekensom — de dragende afweging

Lokale HBM-toegang is ~tientallen ns; het gepoolde Celestial Gen1-cijfer is ~200 ns. Die toeslag van ~150 ns is onzichtbaar voor bandbreedtegebonden streaming (verkeer van gewichten/activaties), maar een reële belasting voor latentiegebonden willekeurige toegang (KV-cache, attention tijdens decoderen). Dit ene getal bepaalt welke workloads gepoolde VRAM verdragen — en het berust op één leverancierscijfer, dus valideer het voordat je je erop vastlegt.

5. De doordachte oplossing — drie horizonten

Horizon 1 (nu → ~2 jr): optische fabric, elektrisch geheugen

Ontwerp. Houd HBM lokaal en elektrisch; vervang scale-up/scale-out-SerDes door UCIe optische I/O-chiplets en CPO-switching. Standaardiseer op een UCIe elektrische interface + protocol-agnostische optische PHY, zodat dezelfde optiek CXL / NVLink / UALink / Ethernet draagt.

Voordeel. ~65–73% reductie van het linkvermogen (Meta mat 65%: 5,4 W versus 15 W per 800G), grotere reikwijdte en vrijgemaakte randruimte → meer HBM in de package. Effectief meer VRAM zonder de geheugensemantiek aan te raken.

Afweging. Doorbreekt de vaste verhouding HBM:rekenkracht nog niet en introduceert een onderhoudsrisico bij CPO (§6).

Horizon 2 (~2–5 jr): optisch gedisaggregeerde / gepoolde HBM

Ontwerp. Haal HBM uit de package en breng het onder in optisch aangesloten geheugenpools via CXL-achtige fabrics (Photonic Fabric / Marvell CXL-switch-sjabloon). Rekenknopen putten capaciteit elastisch uit een gedeelde pool.

Voordeel. De eigenlijke "photonic VRAM"-oplossing — capaciteit schaalt onafhankelijk van de GPU-die; dimensioneer het geheugen per taak op maat en stop met het stranden van HBM.

Afweging & mitigatie. De toeslag van ~200 ns. Ontwerp een gelaagd geheugenmodel — hete/latentiekritische status (KV-cache, huidige laag) blijft lokaal; warme/bandbreedtegebonden status (gewichten, koude experts, lange context) leeft in de optische pool.

Horizon 3 (5 jr+, onderzoeksgok): fotonische in-memory / compute-in-network

Ontwerp. Duw het rekenen het optische/geheugendomein in — pSRAM in-memory arrays (~0,9–1,5 TOPS, ~2,5 TOPS/W, 0,5 pJ/switch, gefabriceerd in GF 45SPCLO) en compute-in-network-reducties op de fabric.

Status. Bitcel gefabriceerd, maar de systeemdoorvoer is gesimuleerd, niet op silicium gemeten. Een hedge / aandachtspunt, geen plan.

6. Risico's — wat dit daadwerkelijk om zeep helpt

Elk risico hieronder is onafhankelijk geverifieerd. De doorslaggevende obstakels zijn operationeel, niet fysiek.

1. Wall-plug-efficiëntie van de laser ~10% (III-V-op-Si DFB ~16%). Het onglamoureuze dominante verlies; elke "sub-pJ/bit-link" sluit het stilletjes uit. Mitigatie: externe / gedeelde laserbanken (ELSFP).
2. CPO doorbreekt het hot-swap-model. Een defecte ingebedde optische engine kan het vervangen van een hele package/board afdwingen in plaats van een pluggable aan de voorzijde — een probleem van operationele economie. Mitigatie: afneembare optische subassemblages / FRU's met externe laser.
3. Thermiek van de 3D-stack. Verticaal stapelen concentreert warmte en kan de optische dichtheid begrenzen voordat de apparaatfysica dat doet; 2,5D-/laterale integratie degradeert gracieuzer. (De sterkere claim dat thermiek hét enige plafond is, werd met 0–3 weerlegd.)
4. Fragmentatie van het ecosysteem. Open vraag of de markt convergeert op UCIe-optisch + CXL/UALink (multi-vendor pools) of uiteenvalt in propriëtaire fabrics (NVLink, Marvell/Celestial). Een standaardenrisico waarop je de architectuur inzet.

7. Claims die bewust NIET zijn gebruikt (adversarieel weerlegd)

Deze aantrekkelijk klinkende claims overleefden de verificatie niet en zijn uitgesloten van de aanbevelingen:

Behandel ook de prestatiecijfers van leveranciers (Celestial 16 Tbps / 25×, Ayar 8 Tbps) als architectonisch geverifieerd maar niet onafhankelijk gebenchmarkt.

8. Concrete aanbevelingen

1. Neem eerst de fabric in gebruik, het geheugen later. Optische I/O + CPO voor scale-up/scale-out is de enige trede met nu al echte ROI (65–73% linkvermogen, vrijgemaakte randruimte → meer lokale HBM). Doe dit los van elke disaggregatiegok.
2. Standaardiseer op UCIe-optisch + CXL-semantiek. Het enige pad naar multi-vendor optisch gepoold geheugen; dekt het fragmentatierisico af. Vermijd vastlassen aan één propriëtaire fabric.
3. Karakteriseer de toeslag van ~200 ns op uw workloads voordat u pooolt. Bandbreedtegebonden → agressief poolen. Latentiegebonden decoderen → lokaal houden. Bouw het gelaagde hete/warme model expliciet.
4. Begroot voor laserefficiëntie en onderhoudbaarheid, niet alleen link-pJ/bit. Deze, niet de apparaatfysica, zijn wat de uitrol tegenhoudt. Eis ontwerpen met externe laser / FRU-onderhoudbaarheid.
5. Financier fotonische in-memory compute alleen als aandachtspunt. Er is nog geen op silicium gevalideerd systeem.

9. Openstaande vragen om vervolgens op te lossen

• De werkelijke end-to-end energie-per-bit op systeemniveau van optische links inclusief het wall-plug-vermogen van de laser (~10%) versus elektrische HBM4-/HBM3E-toegang — overleeft het sub-pJ/bit-voordeel de volledige boekhouding?
• Hoe erg degradeert de poolinglatentie van ~200 ns echte willekeurige-toegang-workloads (KV-cache, attention), en welke workloads verdragen gepoolde HBM versus vereisen lokale HBM?
• Kunnen CPO-onderhoudbaarheid en laserbetrouwbaarheid FRU-economie bereiken die voor datacenters aanvaardbaar is, en welke MTBF-/reparatiedrempels moeten worden gehaald voordat hyperscalers pluggables op schaal vervangen?
• Zal het ecosysteem convergeren op één standaardenstack (UCIe-optisch + CXL/UALink) of uiteenvallen in propriëtaire fabrics?

Belangrijkste bronnen

• Gholami et al., AI and Memory Wall, IEEE Micro 2024 — arXiv:2403.14123
• Celestial AI, Photonic Fabric for Memory & Compute Disaggregation, OFC 2025 W3D.1 — Optica
• Persbericht overname Marvell–Celestial AI (dec 2025) — investor.marvell.com
• Ayar Labs — 's werelds eerste UCIe optische chiplet (mrt 2025) — BusinessWire
• Columbia Lightwave, IEEE CICC 2024 (kustlijndichtheid, energie van thermische afstemming) — PDF
• Nature Photonics 2025 (120 fJ/bit, 5,3 Tb/s/mm²) — nature.com
• Nature Communications silicium-fotonica-roadmap (laser-WPE) — PMC10811194
• IET Optoelectronics 2021 (pluggable-vs-CPO-splitsing) — Wiley
• pSRAM in-memory compute — arXiv:2602.00892