Home / Blog

破解光子 VRAM 难题:绕开 AI 内存墙的架构设计

SplatDev · July 3, 2026 ·9 分钟阅读

“光子 VRAM 难题”是真实存在、可量化且结构性的——但硅光子技术并不能一步到位地解决它。它需要跨越三个分阶段的时间视野来化解,而其中只有第一阶段在今天可以落地部署。这是一份经过验证的调研:下文的每一个数字都可追溯到经同行评审的文献或一手来源,而我们发现的四项最诱人的厂商宣称都经过了对抗性驳斥并被排除在建议之外。

一个清晰的理解方式是:光子技术首先修复的是互连(每比特能耗与传输距离),从而间接地通过释放芯片边缘空间来换回 VRAM 容量。只有在更晚的阶段,它才通过光学解耦与池化来修复内存布局——这才是真正的“光子 VRAM”红利。而光子内存本身(光学 RAM、存内计算)仍然只是一项研究性押注。

核心结论。现在就为纵向扩展/横向扩展的互连织构部署共封装光学/光学 I/O(它同时也能腾出边缘空间以容纳更多本地 HBM);下一步转向光学池化的 HBM,接受约 200 ns 的访问延迟代价以换取容量弹性;将光子存内计算视为一种对冲手段,而非既定计划。以 UCIe-optical + CXL 语义为标准,避免被厂商锁定。

1. 问题的量化

瓶颈是内存与互连之墙,而非算力之墙。在大约 20 年间(Gholami 等人,AI and Memory Wall,IEEE Micro 2024),各项扩展速率出现了急剧的背离。

Log-scale chart showing peak compute growing ~60,000x over 20 years while DRAM bandwidth grew ~100x and interconnect bandwidth ~30x.
图 1。在二十年间,算力已以数量级的幅度超越了内存带宽和互连带宽。
维度每 2 年增长20 年总计结论
服务器峰值算力(FLOPS)3.0×~60,000×遥遥领先
DRAM 带宽1.6×~100×逐渐落后
互连带宽1.4×~30×落后最多

算力超越内存带宽约 600×,超越互连约 2,000×。在此之上还叠加了:LLM 模型规模每 2 年增长 410×,而单 GPU 内存每 2 年仅增长 2×。这一差距迫使模型必须被拆分到众多加速器上——从而把一个容量问题转化为一个互连问题,而这恰恰是光子技术能够发力之处。(沿用自验证环节的说明:410× 这一数字反映的是旗舰/MoE 模型,高估了稠密模型的增长——但重点在于这一差距本身。)

2. 为何 HBM + 电学 SerDes 无法独力弥合

两道物理天花板,都与芯片边缘有关——工程师称这道周边为“海滨地带”(beachfront):

  • 算力随芯片面积扩展;I/O 随芯片周长扩展。HBM PHY 和电学 SerDes 争夺同一段有限的“海岸线”——你无法无限制地既堆叠内存又增加铜质 I/O。
  • 电学 SerDes 撞上了每比特能耗与传输距离之墙(数 pJ/bit,约数十厘米)。一旦推高带宽,功率密度和信号完整性就会崩溃。这正是机架内铜互连触顶的原因。

其后果是:HBM3E→HBM4 不断堆叠,但内存与算力之比被焊死在了封装之中,而本可用于跨封装池化内存的互连又受到电学的限制。经验证的产业机制是——把光学连接直接引入 XPU,“可释放极其宝贵的芯片边缘海滨地带,这部分空间可被重新利用以显著增加 XPU 封装内的 HBM 容量”——这就是一项互连技术换回容量的方式。

Schematic: an electrical-I/O die shares its edge between HBM PHYs and SerDes; an optical-I/O die replaces SerDes with a compact optical port, freeing edge for more HBM.
图 2。光学 I/O 收回了原本会被电学 SerDes 占用的芯片边缘海岸线,从而腾出空间容纳更多封装内 HBM。

3. 光子工具箱——每种技术路线实际上做了什么

技术路线作用修复对象成熟度
Ayar Labs TeraPHY(UCIe 光学芯粒)用 DWDM 光学 I/O 取代边缘 SerDes;最高 8 Tbps,16-λ SuperNova 激光器,约 5 pJ/bit;首款 UCIe 光学芯粒 → 多厂商、协议无关链路能耗 + 传输距离;释放海滨地带产品化/近期
Celestial AI Photonic Fabric(2025 年 12 月被 Marvell 收购)芯片到芯片以及芯片到内存的光学连接;16 Tbps/芯粒;Gen1 模块约 2.07 TB 池化容量,7.2 Tbps,约 200 ns解耦/HBM 池化设计导入/中期
Lightmatter Passage3D 光子中介层 + CPO,高密度 DWDM封装带宽密度新兴
Nvidia / TSMC CPO 路线图用于纵向扩展/横向扩展交换的共封装光学织构功耗 + 端口基数2026 年前后
光学 CXL / 内存池化基于 CXL 语义的机架级内存池容量弹性新兴
光子存内计算(pSRAM)在光域中进行计算,约 2.5 TOPS/W内存—计算往返研究

4. 定量可行性(计算过程)

4.1 每比特能耗——决定性指标

电学 SerDes 处于数 pJ/bit 水平。经同行评审的光学链路电子器件则处于亚 pJ/bit 区间:一款 3D 集成的微环谐振器链路实现了约 120 fJ/bit 的总能耗(1 V 摆幅下 TX 为 50 fJ/bit + RX 为 70 fJ/bit;Nature Photonics 2025),而 DWDM 热调谐则降至约 313–334 fJ/bit(IEEE CICC 2024)。

4.2 带宽密度——电学无法企及之处

海岸线密度达到约 2.02 Tbps/mm(在 8.10 mm 边长上输出 16.384 Tbps;CICC 2024),面积密度达 5.3 Tb/s/mm²(3D 收发器;Nature Photonics 2025)——两者均超出了电学的实用极限。

Two bar charts: optical link energy per bit (down to 120 fJ) versus multi-pJ electrical, and bandwidth density up to 5.3 Tb/s/mm2.
图 3。光学链路能耗(左,对数刻度)与带宽密度(右)相对于电学基准的对比。

诚实的附注。这些实验室数据不包括墙插效率约 10% 的激光器,也不包括 DAC/ADC/SerDes 这一整套器件。系统级的 pJ/bit 要高得多。优势确实存在,但比仅看链路电子器件数字所暗示的要小。

已被驳斥——请勿引用。“>2 Tbps/mm 且 亚 1 pJ/bit 已被证明为可规模化的裸片到裸片路径”这一组合宣称以 0–3 的投票被否决。每个数字单独成立;但其可规模化的组合宣称并不成立。

4.3 解耦延迟的计算——承重的权衡

本地 HBM 访问约为数十 ns;Celestial Gen1 池化数字为约 200 ns。这约 150 ns 的增量对于带宽受限的流式传输(权重/激活流量)来说是不可见的,但对于延迟受限的随机访问(KV-cache、解码期间的注意力计算)却是一项真实的代价。正是这一个数字决定了哪些工作负载能够容忍池化 VRAM——而它仅依赖于一家厂商的数据,因此在做出承诺之前务必加以验证。

5. 架构化的解决方案——三个时间视野

Roadmap of three horizons: Horizon 1 optical fabric (now), Horizon 2 disaggregated pooled HBM (2-5 yr), Horizon 3 photonic in-memory compute (research).
图 4。分阶段路线图:先修复互连,再修复内存布局,最后才是光学内存。

视野一(现在 → 约 2 年):光学织构,电学内存

设计。保持 HBM 本地化且为电学;以 UCIe 光学 I/O 芯粒和 CPO 交换取代纵向扩展/横向扩展的 SerDes。以 UCIe 电学接口 + 协议无关的光学 PHY 为标准,使同一套光学器件能够承载 CXL / NVLink / UALink / Ethernet。

回报。链路功耗降低约 65–73%(Meta 实测 65%:每 800G 为 5.4 W 对比 15 W)、更远的传输距离,以及被释放的海滨地带 → 更多封装内 HBM。在不触及内存语义的前提下获得更多有效 VRAM。

权衡。尚不能打破固定的 HBM:算力之比,并引入了 CPO 可维护性风险(§6)。

视野二(约 2–5 年):光学解耦/池化的 HBM

设计。将 HBM 从封装中剥离,通过类 CXL 织构接入光学挂载的内存池(Photonic Fabric / Marvell CXL 交换机模板)。计算节点从共享池中弹性地获取容量。

回报。真正的“光子 VRAM”修复——容量可独立于 GPU 裸片扩展;按作业精确匹配内存容量,不再让 HBM 被闲置搁浅。

权衡与缓解。约 200 ns 的代价。设计一套分层内存模型——热态/延迟关键状态(KV-cache、当前层)保留在本地;温态/带宽受限状态(权重、冷专家、长上下文)驻留在光学池中。

Architecture diagram: GPU nodes with local HBM (hot tier) connect through a photonic fabric to a shared optical HBM pool (warm tier) at ~200 ns.
图 5。视野二的分层内存:延迟关键状态留在本地 HBM;其余部分则被光学池化。

视野三(5 年以上,研究性押注):光子存内计算/网内计算

设计。将计算推入光域/内存域——pSRAM 存内阵列(约 0.9–1.5 TOPS,约 2.5 TOPS/W,0.5 pJ/次翻转,采用 GF 45SPCLO 工艺制造)以及织构上的网内计算归约。

现状。比特单元已被制造出来,但系统吞吐量是仿真结果,而非实测硅片数据。属于一种对冲/观察项,而非既定计划。

6. 风险——真正会让这一切失败的因素

下列每一项风险都经过独立验证。决定性的障碍是运营层面的,而非物理层面的。

  1. 激光器墙插效率约 10%(III-V-on-Si DFB 约 16%)。这是不起眼却占主导的损耗;每一项“亚 pJ/bit 链路”都悄悄地把它排除在外。缓解:外置/共享激光器阵列(ELSFP)。
  2. CPO 打破了热插拔模式。一个失效的嵌入式光引擎可能迫使更换整个封装/电路板,而不是更换一个前面板可插拔模块——这是一个运营经济性问题。缓解:可拆卸光学子组件/外置激光器 FRU。
  3. 3D 堆叠散热。纵向堆叠会集中热量,可能在器件物理极限到来之前就先限制了光学密度;2.5D/横向集成的退化则更为平缓。(认为散热是唯一那道天花板的更强宣称已被以 0–3 驳斥。)
  4. 生态碎片化。市场究竟会收敛到 UCIe-optical + CXL/UALink(多厂商内存池),还是会碎裂为各家专有织构(NVLink、Marvell/Celestial),仍是一个悬而未决的问题。这是一项押上整个架构的标准之争风险。
Impact-versus-likelihood scatter placing laser efficiency, serviceability, thermal and standards in the high-concern quadrant, and raw link physics in low-concern.
图 6。风险全景——近期的障碍集中在运营/可维护性象限,而非链路物理。

7. 有意不予采信的宣称(经对抗性驳斥)

以下这些听起来诱人的宣称未能通过验证,已被排除在建议之外:

被驳斥的宣称投票说明
Celestial Photonic Fabric “功耗效率是铜的 2 倍以上”1–2厂商宣称,未获证实
“>2 Tbps/mm 且 亚 1 pJ/bit 可规模化”作为一个已证实的整体0–3各组件成立,组合不成立
异构 CPO 良率 = 各裸片良率之积,从而限制规模1–2被夸大
“设定天花板的是散热,而非光子技术”0–3是严重约束,但并非一道硬墙

此外,应将厂商性能数字(Celestial 16 Tbps / 25×,Ayar 8 Tbps)视为已获架构性验证,但未经独立基准测试。

8. 具体建议

  1. 先在织构上采用,内存留待其后。用于纵向扩展/横向扩展的光学 I/O + CPO 是目前唯一具备真实 ROI 的一级台阶(链路功耗降低 65–73%,释放海滨地带 → 更多本地 HBM)。无论是否押注解耦,都应先做这一步。
  2. 以 UCIe-optical + CXL 语义为标准。这是通往多厂商光学池化内存的唯一路径;可对冲碎片化风险。避免把自己焊死在某一家专有织构上。
  3. 在池化之前,先在你自己的工作负载上刻画约 200 ns 的代价。带宽受限 → 积极池化。延迟受限的解码 → 保留在本地。明确构建分层的热/温模型。
  4. 要为激光器效率与可维护性做预算,而不仅仅是链路 pJ/bit。让部署停滞的正是这些因素,而非器件物理。要求采用外置激光器/FRU 可维护的设计。
  5. 仅将光子存内计算作为一个观察项来投入资金。目前尚无经硅片验证的系统。

9. 下一步待解决的开放性问题

  • 光学链路真正的端到端、系统级每比特能耗,包含激光器墙插功耗(约 10%)在内,与 HBM4/HBM3E 电学访问相比——亚 pJ/bit 的优势在完整核算后还能否留存?
  • 约 200 ns 的池化延迟对真实随机访问工作负载(KV-cache、注意力)的劣化究竟有多严重,哪些工作负载能容忍池化 HBM,哪些则需要本地 HBM?
  • CPO 可维护性与激光器可靠性能否达到数据中心可接受的 FRU 经济性,超大规模厂商在大规模替换可插拔模块之前必须满足怎样的 MTBF/维修阈值?
  • 生态最终会收敛到一套标准栈(UCIe-optical + CXL/UALink),还是会碎裂为各家专有织构?

主要来源

  • Gholami et al., AI and Memory Wall, IEEE Micro 2024 — arXiv:2403.14123
  • Celestial AI, Photonic Fabric for Memory & Compute Disaggregation, OFC 2025 W3D.1 — Optica
  • Marvell–Celestial AI 收购公告(2025 年 12 月) — investor.marvell.com
  • Ayar Labs — 全球首款 UCIe 光学芯粒(2025 年 3 月) — BusinessWire
  • Columbia Lightwave, IEEE CICC 2024(海岸线密度、热调谐能耗) — PDF
  • Nature Photonics 2025(120 fJ/bit,5.3 Tb/s/mm²) — nature.com
  • Nature Communications 硅光子路线图(激光器 WPE) — PMC10811194
  • IET Optoelectronics 2021(可插拔与 CPO 的分岔) — Wiley
  • pSRAM 存内计算 — arXiv:2602.00892

Want more articles like this?

Subscribe for updates on .NET, Umbraco, nopCommerce, and software engineering.

Get in touch →