"photonic VRAM समस्या" वास्तविक, मात्रात्मक और संरचनात्मक है — लेकिन silicon photonics इसे एक ही कदम में हल नहीं करती। यह इसे तीन चरणबद्ध क्षितिजों में हल करती है, और इनमें से केवल पहला ही आज तैनात करने योग्य है। यह एक सत्यापित जाँच है: नीचे दिया गया हर आँकड़ा किसी peer-reviewed या प्राथमिक स्रोत तक जाता है, और हमें मिले चार सबसे आकर्षक vendor दावों को प्रतिकूल रूप से खंडित किया गया और सिफ़ारिशों से बाहर रखा गया।
इसे देखने का स्पष्ट तरीका: photonics पहले interconnect (energy-per-bit और reach) को ठीक करती है, जो die-edge की जगह मुक्त करके अप्रत्यक्ष रूप से VRAM क्षमता वापस दिला देती है। केवल बाद में यह optical disaggregation और pooling के माध्यम से memory placement को ठीक करती है — असली "photonic VRAM" लाभ। photonic memory स्वयं (optical RAM, in-memory compute) एक शोध-दांव बनी हुई है।
निष्कर्ष। scale-up/scale-out fabric के लिए अभी co-packaged / optical I/O तैनात करें (यह अधिक local HBM के लिए beachfront भी मुक्त करती है); अगले चरण में optically pooled HBM की ओर बढ़ें, क्षमता की लचक के लिए ~200 ns access कर स्वीकार करते हुए; photonic in-memory compute को एक बचाव मानें, योजना नहीं। lock-in से बचने के लिए UCIe-optical + CXL semantics पर मानकीकरण करें।
1. समस्या, मात्रात्मक रूप में
यह बाधा एक memory-and-interconnect wall है, compute wall नहीं। लगभग 20 वर्षों में (Gholami et al., AI and Memory Wall, IEEE Micro 2024), scaling दरें तेज़ी से अलग हो गईं।
| अक्ष | वृद्धि / 2 वर्ष | 20-वर्षीय कुल | निर्णय |
|---|---|---|---|
| Peak server compute (FLOPS) | 3.0× | ~60,000× | आगे दौड़ता है |
| DRAM bandwidth | 1.6× | ~100× | पीछे रह जाता है |
| Interconnect bandwidth | 1.4× | ~30× | सबसे अधिक पीछे रह जाता है |
Compute ने memory bandwidth को ~600× और interconnect को ~2,000× से पीछे छोड़ दिया। इसके ऊपर परत चढ़ी: LLM मॉडल का आकार 410× / 2 वर्ष बढ़ा जबकि single-GPU memory केवल 2× / 2 वर्ष बढ़ी। वह अंतर मॉडलों को कई accelerators में बाँटने पर मजबूर करता है — एक क्षमता समस्या को interconnect समस्या में बदलते हुए, जो ठीक वही जगह है जहाँ photonics का लाभ है। (सत्यापन से लिया गया चेतावनी: 410× आँकड़ा flagship/MoE मॉडलों को दर्शाता है और dense-model वृद्धि को बढ़ा-चढ़ाकर बताता है — लेकिन असल बात अंतर ही है।)
2. HBM + Electrical SerDes अकेले इसे क्यों नहीं पाट सकते
दो भौतिक सीमाएँ, दोनों die edge के बारे में — वह परिधि जिसे इंजीनियर "beachfront" कहते हैं:
- Compute die क्षेत्रफल के साथ बढ़ता है; I/O die परिधि के साथ बढ़ता है। HBM PHYs और electrical SerDes एक ही सीमित तटरेखा के लिए प्रतिस्पर्धा करते हैं — आप memory stacks और अधिक copper I/O को अनंत रूप से नहीं जोड़ सकते।
- Electrical SerDes energy-per-bit और reach की दीवार से टकराते हैं (multi-pJ/bit, ~दसियों cm)। bandwidth ऊपर धकेलें और power density तथा signal integrity ध्वस्त हो जाते हैं। यही कारण है कि in-rack copper अपनी चरम सीमा पर पहुँच रहा है।
परिणाम: HBM3E→HBM4 stacking जारी रखते हैं, लेकिन memory से compute का अनुपात package में जड़ दिया जाता है, और वह interconnect जो आपको packages के बीच memory pool करने देता, electrically सीमित है। सत्यापित उद्योग तंत्र — optical connection सीधे XPU में बनाना "अत्यधिक मूल्यवान die-edge beachfront को मुक्त करता है, जिसे XPU package के भीतर HBM की मात्रा को उल्लेखनीय रूप से बढ़ाने के लिए पुनः उपयोग किया जा सकता है" — यही तरीका है जिससे एक interconnect तकनीक क्षमता खरीदती है।
3. Photonic टूलबॉक्स — हर दृष्टिकोण असल में क्या करता है
| दृष्टिकोण | यह क्या करता है | क्या ठीक करता है | परिपक्वता |
|---|---|---|---|
| Ayar Labs TeraPHY (UCIe optical chiplet) | edge SerDes को DWDM optical I/O से बदलता है; up to 8 Tbps, 16-λ SuperNova laser, ~5 pJ/bit; पहला UCIe optical chiplet → multi-vendor, protocol-agnostic | Link energy + reach; beachfront मुक्त करता है | Product / निकट-अवधि |
| Celestial AI Photonic Fabric (acq. Marvell, Dec 2025) | Optical chip-to-chip और chip-to-memory; 16 Tbps/chiplet; Gen1 module ~2.07 TB pooled, 7.2 Tbps, ~200 ns | Disaggregation / HBM pooling | Design-in / मध्यम-अवधि |
| Lightmatter Passage | 3D photonic interposer + CPO, high-density DWDM | Package bandwidth density | उभरता हुआ |
| Nvidia / TSMC CPO roadmap | scale-up/scale-out switching के लिए Co-packaged optics | Fabric power + radix | 2026-युग |
| Optical CXL / memory pooling | CXL semantics पर Rack-scale memory pools | क्षमता की लचक | उभरता हुआ |
| Photonic in-memory compute (pSRAM) | optical domain में Compute, ~2.5 TOPS/W | Memory–compute round trips | शोध |
4. मात्रात्मक व्यवहार्यता (गणना)
4.1 Energy per bit — निर्णायक मीट्रिक
Electrical SerDes कई pJ/bit पर बैठते हैं। Peer-reviewed optical link electronics sub-pJ/bit श्रेणी में हैं: एक 3D-integrated microresonator link कुल ~120 fJ/bit प्राप्त करता है (50 fJ/bit TX at 1 V swing + 70 fJ/bit RX; Nature Photonics 2025), और DWDM thermal-tuning घटकर ~313–334 fJ/bit हो जाता है (IEEE CICC 2024)।
4.2 Bandwidth density — जहाँ electrical पीछा नहीं कर सकता
Shoreline density ~2.02 Tbps/mm तक पहुँचता है (16.384 Tbps एक 8.10 mm edge से बाहर; CICC 2024) और area density 5.3 Tb/s/mm² (3D transceiver; Nature Photonics 2025) — दोनों व्यावहारिक electrical सीमाओं से परे।
ईमानदार तारांकन। ये lab आँकड़े ~10% wall-plug efficiency पर laser को बाहर रखते हैं, साथ ही DAC/ADC/SerDes stack को भी। System-level pJ/bit काफ़ी अधिक है। लाभ वास्तविक है लेकिन अकेले link-electronics संख्याओं से जितना दिखता है उससे छोटा।
खंडित — उद्धृत न करें। ">2 Tbps/mm AND sub-1 pJ/bit एक सिद्ध at-scale die-to-die path के रूप में" का संयुक्त दावा 0–3 से मारा गया। हर संख्या अलग-अलग टिकती है; समग्र at-scale दावा नहीं टिकता।
4.3 disaggregation-latency गणित — भार-वहन करने वाला व्यापार-सौदा
Local HBM access ~दसियों ns है; Celestial Gen1 pooled आँकड़ा ~200 ns है। वह ~150 ns अतिरिक्त bandwidth-bound streaming (weight/activation traffic) के लिए अदृश्य है लेकिन latency-bound random access (KV-cache, decode के दौरान attention) पर एक वास्तविक कर है। यह एकमात्र संख्या तय करती है कि कौन से workloads pooled VRAM सहन करते हैं — और यह एक vendor आँकड़े पर टिकी है, इसलिए प्रतिबद्ध होने से पहले इसे मान्य करें।
5. आर्किटेक्चर किया गया समाधान — तीन क्षितिज
Horizon 1 (अभी → ~2 वर्ष): optical fabric, electrical memory
Design. HBM को local और electrical रखें; scale-up/scale-out SerDes को UCIe optical I/O chiplets और CPO switching से बदलें। एक UCIe electrical interface + protocol-agnostic optical PHY पर मानकीकरण करें ताकि वही optics CXL / NVLink / UALink / Ethernet ले जाए।
लाभ। ~65–73% link-power कमी (Meta ने 65% मापा: 5.4 W बनाम 15 W प्रति 800G), अधिक reach, और मुक्त beachfront → अधिक in-package HBM। memory semantics को छुए बिना अधिक प्रभावी VRAM।
व्यापार-सौदा। अभी तक fixed HBM:compute अनुपात नहीं तोड़ता, और CPO serviceability जोखिम प्रस्तुत करता है (§6)।
Horizon 2 (~2–5 वर्ष): optically disaggregated / pooled HBM
Design. HBM को package से बाहर निकालकर CXL-like fabrics पर optically-attached memory pools में डालें (Photonic Fabric / Marvell CXL-switch template)। Compute nodes एक साझा pool से क्षमता को लचीले ढंग से खींचते हैं।
लाभ। असली "photonic VRAM" समाधान — क्षमता GPU die से स्वतंत्र रूप से बढ़ती है; प्रति job memory को सही आकार दें और HBM फँसाना बंद करें।
व्यापार-सौदा और शमन। ~200 ns कर। एक tiered memory model बनाएँ — hot/latency-critical state (KV-cache, वर्तमान layer) local रहता है; warm/bandwidth-bound state (weights, cold experts, long context) optical pool में रहता है।
Horizon 3 (5 वर्ष+, शोध-दांव): photonic in-memory / compute-in-network
Design. Compute को optical/memory domain में धकेलें — pSRAM in-memory arrays (~0.9–1.5 TOPS, ~2.5 TOPS/W, 0.5 pJ/switch, GF 45SPCLO में निर्मित) और fabric पर compute-in-network reductions।
स्थिति। Bitcell निर्मित है, लेकिन system throughput simulated है, silicon-measured नहीं। एक बचाव / निगरानी वस्तु, योजना नहीं।
6. जोखिम — असल में इसे क्या मारता है
नीचे दिया गया हर जोखिम स्वतंत्र रूप से सत्यापित किया गया। निर्णायक अवरोधक operational हैं, भौतिक नहीं।
- Laser wall-plug efficiency ~10% (III-V-on-Si DFB ~16%)। यह अनाकर्षक प्रमुख हानि; हर "sub-pJ/bit link" चुपचाप इसे बाहर रखता है। शमन: external / shared laser banks (ELSFP)।
- CPO hot-swap मॉडल तोड़ता है। एक विफल embedded optical engine पूरे package/board को बदलने पर मजबूर कर सकता है बनाम एक front-panel pluggable — एक operational-economics समस्या। शमन: detachable optical sub-assemblies / external-laser FRUs।
- 3D-stack thermal. Vertical stacking गर्मी को केंद्रित करता है और device physics से पहले optical density को सीमित कर सकता है; 2.5D/lateral integration अधिक शालीनता से ह्रास होता है। (यह मज़बूत दावा कि thermal एकमात्र छत है, 0–3 से खंडित किया गया।)
- Ecosystem विखंडन. खुला प्रश्न कि बाज़ार UCIe-optical + CXL/UALink (multi-vendor pools) पर एकत्रित होता है या proprietary fabrics (NVLink, Marvell/Celestial) में विखंडित होता है। एक bet-the-architecture standards जोखिम।
7. जान-बूझकर जिन दावों पर भरोसा नहीं किया गया (प्रतिकूल रूप से खंडित)
ये आकर्षक-लगने वाले दावे सत्यापन में नहीं टिके और सिफ़ारिशों से बाहर रखे गए हैं:
| खंडित दावा | मत | टिप्पणी |
|---|---|---|
| Celestial Photonic Fabric ">2× the power efficiency of copper" | 1–2 | Vendor दावा, असिद्ध |
| ">2 Tbps/mm AND sub-1 pJ/bit at scale" एक सिद्ध package के रूप में | 0–3 | घटक टिकते हैं, समग्र नहीं |
| Heterogeneous-CPO yield = die yields का गुणनफल, scale को सीमित करता है | 1–2 | बढ़ा-चढ़ाकर बताया गया |
| "Thermal, not photonics, sets the ceiling" | 0–3 | गंभीर बाधा, कठोर दीवार नहीं |
साथ ही vendor performance संख्याओं (Celestial 16 Tbps / 25×, Ayar 8 Tbps) को architecturally verified लेकिन स्वतंत्र रूप से benchmarked नहीं मानें।
8. ठोस सिफ़ारिशें
- पहले fabric पर अपनाएँ, memory बाद में। scale-up/scale-out के लिए Optical I/O + CPO ही एकमात्र सीढ़ी है जिस पर अभी वास्तविक ROI है (65–73% link power, मुक्त beachfront → अधिक local HBM)। इसे किसी भी disaggregation दांव से स्वतंत्र रूप से करें।
- UCIe-optical + CXL semantics पर मानकीकरण करें। multi-vendor optically-pooled memory का एकमात्र मार्ग; विखंडन जोखिम का बचाव करता है। एक proprietary fabric से जुड़ने से बचें।
- Pooling से पहले अपने workloads पर ~200 ns कर को चिह्नित करें। Bandwidth-bound → आक्रामक रूप से pool करें। Latency-bound decode → local रखें। tiered hot/warm मॉडल स्पष्ट रूप से बनाएँ।
- केवल link pJ/bit के लिए नहीं, बल्कि laser efficiency और serviceability के लिए बजट बनाएँ। यही, device physics नहीं, तैनाती को रोकते हैं। external-laser / FRU-serviceable designs की माँग करें।
- Photonic in-memory compute को केवल एक निगरानी-वस्तु के रूप में वित्तपोषित करें। अभी तक कोई silicon-validated system नहीं।
9. आगे हल करने के लिए खुले प्रश्न
- optical links का सच्चा end-to-end, system-level energy-per-bit जिसमें laser wall-plug power (~10%) शामिल हो, बनाम HBM4/HBM3E electrical access — क्या sub-pJ/bit लाभ पूर्ण लेखांकन में टिकता है?
- ~200 ns pooling latency वास्तविक random-access workloads (KV-cache, attention) को कितनी बुरी तरह ख़राब करती है, और कौन से workloads pooled HBM सहन करते हैं बनाम local HBM की आवश्यकता रखते हैं?
- क्या CPO serviceability और laser reliability datacenter-स्वीकार्य FRU economics तक पहुँच सकते हैं, और hyperscalers द्वारा बड़े पैमाने पर pluggables बदलने से पहले कौन से MTBF/repair थ्रेशोल्ड पूरे होने चाहिए?
- क्या ecosystem एक standards stack (UCIe-optical + CXL/UALink) पर एकत्रित होगा या proprietary fabrics में विखंडित होगा?
प्रमुख स्रोत
- Gholami et al., AI and Memory Wall, IEEE Micro 2024 — arXiv:2403.14123
- Celestial AI, Photonic Fabric for Memory & Compute Disaggregation, OFC 2025 W3D.1 — Optica
- Marvell–Celestial AI acquisition release (Dec 2025) — investor.marvell.com
- Ayar Labs — world's first UCIe optical chiplet (Mar 2025) — BusinessWire
- Columbia Lightwave, IEEE CICC 2024 (shoreline density, thermal-tuning energy) — PDF
- Nature Photonics 2025 (120 fJ/bit, 5.3 Tb/s/mm²) — nature.com
- Nature Communications silicon-photonics roadmap (laser WPE) — PMC10811194
- IET Optoelectronics 2021 (pluggable-vs-CPO fork) — Wiley
- pSRAM in-memory compute — arXiv:2602.00892