Resolviendo el problema de la VRAM fotónica: diseñar la arquitectura para rodear el muro de memoria de la IA

El «problema de la VRAM fotónica» es real, cuantificado y estructural, pero la fotónica de silicio no lo resuelve de un solo golpe. Lo resuelve a lo largo de tres horizontes por fases, y solo el primero es desplegable hoy. Esta es una investigación verificada: cada cifra que aparece a continuación procede de una fuente primaria o revisada por pares, y las cuatro afirmaciones de proveedores más atractivas que encontramos fueron refutadas de forma adversarial y excluidas de las recomendaciones.

La forma clara de verlo: la fotónica primero arregla la interconexión (energía por bit y alcance), lo que indirectamente recupera capacidad de VRAM al liberar espacio en el borde del chip. Solo más adelante arregla la ubicación de la memoria mediante la desagregación óptica y el agrupamiento (pooling): el verdadero beneficio de la «VRAM fotónica». La memoria fotónica en sí (RAM óptica, computación en memoria) sigue siendo una apuesta de investigación.

1. El problema, cuantificado

El cuello de botella es un muro de memoria e interconexión, no un muro de cómputo. A lo largo de unos 20 años (Gholami et al., AI and Memory Wall, IEEE Micro 2024), las tasas de escalado divergieron drásticamente.

El cómputo superó al ancho de banda de memoria en ~600× y a la interconexión en ~2,000×. Y encima de todo eso: el tamaño de los modelos LLM creció 410× / 2 años mientras que la memoria de una sola GPU creció solo 2× / 2 años. Esa brecha obliga a repartir los modelos entre muchos aceleradores, convirtiendo un problema de capacidad en un problema de interconexión, que es exactamente donde la fotónica tiene ventaja. (Salvedad heredada de la verificación: la cifra de 410× refleja modelos insignia/MoE y exagera el crecimiento de los modelos densos, pero lo importante es la brecha.)

2. Por qué HBM + SerDes eléctrico no pueden cerrarla por sí solos

Dos techos físicos, ambos relacionados con el borde del chip, el perímetro que los ingenieros llaman «beachfront» (primera línea de costa):

• El cómputo escala con el área del chip; la E/S escala con el perímetro del chip. Los PHY de HBM y los SerDes eléctricos compiten por la misma línea de costa finita: no se pueden añadir pilas de memoria y más E/S de cobre indefinidamente.
• Los SerDes eléctricos chocan contra un muro de energía por bit y de alcance (varios pJ/bit, ~decenas de cm). Si subes el ancho de banda, la densidad de potencia y la integridad de la señal se desploman. Por eso el cobre dentro del rack está tocando techo.

La consecuencia: HBM3E→HBM4 sigue apilando, pero la proporción entre memoria y cómputo queda soldada en el paquete, y la interconexión que permitiría agrupar memoria entre paquetes está limitada eléctricamente. El mecanismo verificado del sector —llevar la conexión óptica directamente al XPU «libera un espacio de borde de chip muy valioso, que puede reaprovecharse para aumentar significativamente la cantidad de HBM dentro del paquete del XPU»— es la forma en que una tecnología de interconexión compra capacidad.

3. La caja de herramientas fotónica: qué hace realmente cada enfoque

4. Viabilidad cuantitativa (el cálculo)

4.1 Energía por bit: la métrica decisiva

Los SerDes eléctricos se sitúan en varios pJ/bit. La electrónica de enlace óptico revisada por pares está en el régimen sub-pJ/bit: un enlace de microrresonador integrado en 3D alcanza ~120 fJ/bit en total (50 fJ/bit en TX con una excursión de 1 V + 70 fJ/bit en RX; Nature Photonics 2025), y el ajuste térmico DWDM baja a ~313–334 fJ/bit (IEEE CICC 2024).

4.2 Densidad de ancho de banda: donde lo eléctrico no puede seguir

La densidad de línea de costa alcanza ~2.02 Tbps/mm (16.384 Tbps por un borde de 8.10 mm; CICC 2024) y la densidad por área 5.3 Tb/s/mm² (transceptor 3D; Nature Photonics 2025), ambas más allá de los límites eléctricos prácticos.

4.3 Las cuentas de la latencia de desagregación: el compromiso que lo sostiene todo

El acceso a HBM local es de ~decenas de ns; la cifra agrupada de Celestial Gen1 es de ~200 ns. Ese sumando de ~150 ns es invisible para el streaming limitado por ancho de banda (tráfico de pesos/activaciones), pero un impuesto real sobre el acceso aleatorio limitado por latencia (KV-cache, atención durante la decodificación). Esta única cifra decide qué cargas de trabajo toleran la VRAM agrupada, y se apoya en una sola cifra de proveedor, así que valídala antes de comprometerte.

5. La resolución arquitectónica: tres horizontes

Horizonte 1 (ahora → ~2 años): tejido óptico, memoria eléctrica

Diseño. Mantén la HBM local y eléctrica; sustituye los SerDes de escalado vertical/horizontal por chiplets de E/S óptica UCIe y conmutación CPO. Estandariza en una interfaz eléctrica UCIe + un PHY óptico agnóstico al protocolo, para que la misma óptica transporte CXL / NVLink / UALink / Ethernet.

Beneficio. Reducción de la potencia del enlace de ~65–73% (Meta midió un 65%: 5.4 W frente a 15 W por cada 800G), mayor alcance y espacio de borde liberado → más HBM en el paquete. Más VRAM efectiva sin tocar la semántica de la memoria.

Contrapartida. Todavía no rompe la proporción fija HBM:cómputo e introduce un riesgo de mantenibilidad del CPO (§6).

Horizonte 2 (~2–5 años): HBM desagregada / agrupada ópticamente

Diseño. Saca la HBM del paquete hacia grupos de memoria conectados ópticamente sobre tejidos de tipo CXL (plantilla de Photonic Fabric / conmutador CXL de Marvell). Los nodos de cómputo toman capacidad de forma elástica de un grupo compartido.

Beneficio. La verdadera solución de la «VRAM fotónica»: la capacidad escala de forma independiente del chip de la GPU; dimensiona la memoria a la medida de cada trabajo y deja de desaprovechar HBM.

Contrapartida y mitigación. El impuesto de ~200 ns. Diseña un modelo de memoria por niveles: el estado caliente/crítico en latencia (KV-cache, capa actual) permanece local; el estado templado/limitado por ancho de banda (pesos, expertos fríos, contexto largo) vive en el grupo óptico.

Horizonte 3 (más de 5 años, apuesta de investigación): fotónica en memoria / cómputo en la red

Diseño. Lleva el cómputo al dominio óptico/de memoria: matrices pSRAM en memoria (~0.9–1.5 TOPS, ~2.5 TOPS/W, 0.5 pJ/switch, fabricadas en GF 45SPCLO) y reducciones de cómputo en la red sobre el tejido.

Estado. La celda de bits está fabricada, pero el rendimiento del sistema está simulado, no medido en silicio. Un elemento de cobertura / a vigilar, no un plan.

6. Riesgos: qué acaba realmente con esto

Todos los riesgos que siguen se verificaron de forma independiente. Los obstáculos decisivos son operativos, no físicos.

1. Eficiencia de red (wall-plug) del láser de ~10% (DFB III-V-on-Si de ~16%). La pérdida dominante y poco glamurosa; todo «enlace sub-pJ/bit» la excluye discretamente. Mitigación: bancos de láser externos / compartidos (ELSFP).
2. El CPO rompe el modelo de intercambio en caliente (hot-swap). Un motor óptico integrado que falle puede obligar a sustituir todo un paquete/placa en lugar de un módulo enchufable del panel frontal, un problema de economía operativa. Mitigación: subconjuntos ópticos desmontables / FRU de láser externo.
3. Térmica de las pilas 3D. El apilamiento vertical concentra el calor y puede limitar la densidad óptica antes que la física del dispositivo; la integración 2.5D/lateral se degrada de forma más gradual. (La afirmación más fuerte de que la térmica es el único techo fue refutada 0–3.)
4. Fragmentación del ecosistema. Es una incógnita si el mercado converge en UCIe óptico + CXL/UALink (grupos multiproveedor) o se fragmenta en tejidos propietarios (NVLink, Marvell/Celestial). Un riesgo de estándares en el que te juegas la arquitectura.

7. Afirmaciones en las que deliberadamente NO nos apoyamos (refutadas de forma adversarial)

Estas afirmaciones de aspecto atractivo no sobrevivieron a la verificación y quedan excluidas de las recomendaciones:

Trata también las cifras de rendimiento de los proveedores (Celestial 16 Tbps / 25×, Ayar 8 Tbps) como verificadas a nivel arquitectónico, pero sin evaluación comparativa independiente.

8. Recomendaciones concretas

1. Adopta primero en el tejido, la memoria después. La E/S óptica + CPO para escalado vertical/horizontal es el único peldaño con un ROI real ahora (65–73% de la potencia del enlace, espacio de borde liberado → más HBM local). Hazlo con independencia de cualquier apuesta por la desagregación.
2. Estandariza en UCIe óptico + semántica CXL. El único camino hacia la memoria agrupada ópticamente y multiproveedor; cubre el riesgo de fragmentación. Evita quedar soldado a un único tejido propietario.
3. Caracteriza el impuesto de ~200 ns en tus cargas de trabajo antes de agrupar. Limitadas por ancho de banda → agrupa de forma agresiva. Decodificación limitada por latencia → mantén en local. Construye explícitamente el modelo por niveles caliente/templado.
4. Presupuesta para la eficiencia del láser y la mantenibilidad, no solo para el pJ/bit del enlace. Son estos, y no la física del dispositivo, los que frenan el despliegue. Exige diseños con láser externo / mantenibles mediante FRU.
5. Financia la computación fotónica en memoria solo como elemento a vigilar. Todavía no hay ningún sistema validado en silicio.

9. Preguntas abiertas que resolver a continuación

• La energía por bit real de extremo a extremo, a nivel de sistema, de los enlaces ópticos incluyendo la potencia de red (wall-plug) del láser (~10%) frente al acceso eléctrico de HBM4/HBM3E: ¿sobrevive la ventaja sub-pJ/bit a una contabilidad completa?
• ¿Cuánto degrada la latencia de agrupamiento de ~200 ns las cargas reales de acceso aleatorio (KV-cache, atención), y qué cargas de trabajo toleran la HBM agrupada frente a las que requieren HBM local?
• ¿Puede la mantenibilidad del CPO y la fiabilidad del láser alcanzar una economía de FRU aceptable para el centro de datos, y qué umbrales de MTBF/reparación deben cumplirse antes de que los hyperscalers sustituyan los módulos enchufables a gran escala?
• ¿Convergerá el ecosistema en una única pila de estándares (UCIe óptico + CXL/UALink) o se fragmentará en tejidos propietarios?

Fuentes clave

• Gholami et al., AI and Memory Wall, IEEE Micro 2024 — arXiv:2403.14123
• Celestial AI, Photonic Fabric for Memory & Compute Disaggregation, OFC 2025 W3D.1 — Optica
• Nota de prensa de la adquisición de Celestial AI por Marvell (dic. 2025) — investor.marvell.com
• Ayar Labs — primer chiplet óptico UCIe del mundo (mar. 2025) — BusinessWire
• Columbia Lightwave, IEEE CICC 2024 (densidad de línea de costa, energía de ajuste térmico) — PDF
• Nature Photonics 2025 (120 fJ/bit, 5.3 Tb/s/mm²) — nature.com
• Hoja de ruta de fotónica de silicio de Nature Communications (WPE del láser) — PMC10811194
• IET Optoelectronics 2021 (disyuntiva enchufable frente a CPO) — Wiley
• Computación pSRAM en memoria — arXiv:2602.00892