为何 AI 集群偏好 rail 优化拓扑？

集合通信流量是等级感知的。Rail 优化把跨服务器的同一 GPU 序号放到同一台交换机，让多数流量一跳完成，并降低拖停同步训练 step 的尾延迟。

机柜内 800G 下 DAC 还可行吗？

勉强。无源 800G DAC 距离因 PAM4 衰减约为 1–2 m；AEC 用有源 redriver 把它延到约 3–5 m。再远，光模块主导。功耗是取舍：每光模块 12–16 W 对每 800G AEC 4–8 W。

今天 LPO 与 CPO 的实际区别是什么？

LPO 从模块移除 DSP，模块功耗大致减半，但要求主机 SerDes 补偿通道损耗，这使它对主机与通道质量敏感。CPO 把光模块移到交换封装上：最佳能效，但光模块不再是现场可更换的。

一个 800G GPU pod 实际需要多少光模块？

在每 GPU 一个 800G 端口的无阻塞 rail 优化 pod 里，光模块数约为互联每 GPU 一个模块、加上存储与管理每 GPU 当量一个，所以一个 1024 GPU pod 在备件前落在约 2000–2500 个。是这个数量、而非交换机数量，驱动备件与故障率预算。

AI 集群光互联：rail 优化互联结构与 CPO 的边界

GPU 集群的扩展方式不同于 Web 层。把它们连起来的互联结构，以不同方式失败、以不同方式算预算、也以不同方式采购。

AI 数据中心光互联 · 发布 2026-10-24 · 更新 2026-10-26 · 2 分钟阅读

一个 1024 GPU 训练 pod 含约两千个光模块。按每年百分之几的现场故障率，那是每年几十次模块更换，而每次更换都是一个能拖停同步训练任务的链路事件。正是这一事实重构了 AI 集群里的光互联：问题不是光够不够快，而是这张互联能否吸收模块数量带来的故障率。

这与前端数据中心网络是不同的设计问题——在那里，一条 flap 的链路被路由吸收，无人察觉。这也是 AI 运营商为何在意 corrected-codeword 计数器和壳温，那种在意若放在 Web 规模团队上会显得偏执。

为何 AI 流量不像数据中心流量

集合通信的三个性质，驱动了每一个下游决策。

性质	对光层的作用
同步突发	链路利用率在一个 step 内从空闲跳到饱和。一条慢链路变成拖慢整个集合的掉队者
等级感知流量矩阵	拓扑可以匹配流量模式，而非匹配泛用二分带宽，这正是 rail 优化的全部前提
低重试容忍	一个被重试的 step 比一个慢 step 代价更高。链路质量是吞吐特性，不是合规勾选

掉队者效应，以及 FEC 裕量为何要紧

在同步 all-reduce 里，每个 rank 都等最慢的那个。一条以 1e-7 前 FEC BER、带着重度 FEC 修正运行的链路，仍交付正确数据，但其有效延迟会随修正负载上升而抖动。在 512 rank 的集合里，至少一条链路处在糟糕分钟的概率趋近于一。

这正是 AI 互联被指定比标准要求更多光裕量的机械原因。前端网络会称之宽裕的 2 dB 功率裕量，在 AI pod 里，大致是一份能跑完的作业与一份卡在 90% 的作业之间的差别。

拓扑：rail 优化换来与付出

经典 spine-leaf 在两跳内连接任意 GPU 到任意其他。Rail 优化把跨所有服务器的 GPU 序号 n 连到 rail 交换机 n，于是参与同一集合的 rank 通常只隔一跳。

Spine-leaf:        GPU server -- leaf -- spine -- leaf -- GPU server
Rail-optimised:    GPU0 of all servers -- rail-0 switch group
                   GPU1 of all servers -- rail-1 switch group

收益是真正主导的流量的延迟与跳数。代价真实，值得讲清。

布线复杂度随 rail 数扩展。 每台服务器八条 rail，意味着八个并行互联平面，每个有自己的布线纪律、自己的极性约定、自己的故障域。/mpo-polarity-explained-type-a-b-c 对布线队从参考文档变成必读。

故障域变窄且变多。 一条 rail 倒下，劣化一组特定集合，而非整张互联。这对部分可用性更好，对诊断更糟，因为症状看着像软件问题。

每 GPU 的光模块数上升。 每个 GPU 端口是一个模块。Rail 优化不创造端口，但它去掉了本可让你共享端口的超额认购，这也是 rail 优化 pod 落到约 1:1 的原因。

超额认购：1:1 真正被要求之处

密集训练 pod 需要无阻塞或近无阻塞互联，因为集合是带宽同步的。推理与微调容忍 2:1 或 3:1，因为它们的流量较不对称。

光后果直接：一个 3:1 pod 在超额认购层只用三分之一的光模块。所以选比例既是个网络性能决策，也是个光预算决策，且应在桌面摆着模块数量时做出。/800g-transceiver-selection-guide 覆盖一旦数量固定，那些模块在功率与制冷上的代价。

介质阶梯，连同决定它的数字

介质	800G 下距离	每端口功耗	何时胜出	什么会弄垮它
无源 DAC	1–2 m	~0 W	同机柜主机到 ToR	PAM4 衰减；高通道数下的线缆硬度
AEC	3–5 m	4–8 W	排内、机柜到机柜	厂商间 redriver 固件不一致
LPO	50–100 m	8–10 W	相邻排、功耗受限 pod	主机 SerDes 须吸收通道损耗；需已验证配对
可插拔光模块（DR8 / 2xFR4）	100–500 m / 2 km	12–16 W	排到排、叶到脊	笼子热密度、风道设计
CPO	封装上	每比特最低	下一代交换 ASIC	光模块不可现场更换

3 米规则及其例外

3 m 以内，DAC 几乎总是对：零功耗、没有会坏的光模块、没有要监控的诊断。3 到 5 m 之间，AEC 在功耗上胜出，但引入一个新失败模式，即 redriver。5 m 以上，决策在 LPO 与传统可插拔之间。

值得知道的例外：一个在距离受限之前先被功耗受限的 pod，即便在 DAC 能工作的距离上，也会为 LPO 付溢价，因为约束不是线缆，是 PDU。功耗受限的机房会做奇怪但理性的选择。

LPO 是系统决策，不是模块决策

线性可插拔光模块移除 DSP，把均衡活交给主机 SerDes。模块功耗大致减半，这正是全部吸引力。代价是链路现在依赖主机 SerDes 对该特定通道有足够均衡范围，且依赖交换厂商已验证这一组合。

这正是 LPO 采用看起来不均的原因：在主机与通道已知、并一起验证之处运作良好，在模块独立于交换机采购之处表现糟糕。若你的采购流程把光模块当独立于交换机采购的商品，LPO 会让你失望。

CPO 的真正约束是可修性，不是功耗

共封装光模块通过彻底移除可插拔接口，交付最佳每比特功耗。早期 CPO 部署已公布的现场可靠性数据，在故障率一面确实鼓舞人心，因为移除连接器和现场操作，去掉了很大一部分故障模式。

剩下的约束是运维层面的：当 CPO 端口故障，你换的是交换机，不是模块。对一个有两千模块 pod，可插拔模型的劣势是模块会坏；其优势是一个有备件的技术员四分钟修好。CPO 的可靠性收益是否盖过它的修复粒度，取决于你的备件模型与维护窗口，且数据尚未定论。

800G 下的热现实，以瓦陈述

一台 64 口 800G 机箱，每模块 16 W，背着约 1 kW 光模块热量，抵达风道最弱的面板上。这不是设计冻结后交给设施团队处理的小事；它约束你能用哪种形态因子。/400g-qsfp-dd-vs-osfp 覆盖 OSFP 额外体积究竟为何存在。

对 AI pod 具体而言两个实际后果：

机柜密度与光模块功耗相互掣肘。 把 GPU 密度翻倍，就在同 footprint 内把光模块热量翻倍，而在半密度下够用的冷却系统，在全密度下不够。在机柜布局固定前就把这建模出来。

笼子到笼子走线是光预算项。 工厂端接 MPO 组件与现场端接尾纤，相差最多 0.5 dB 插入损耗。在一个 1.9 dB 的 DR 级预算里，那是四分之一的额度，花在一个通常由谁先接电话就谁定的走线决策上。/400g-800g-link-budget-calculation 有算式。

2026 年指定一个 800G pod

形态因子： 跟随交换厂商的原生笼子。热冗余是硬约束处用 OSFP，端口密度是硬约束处用 QSFP-DD800。
PMD： 新建 MPO 结构化布线用 DR8，现有双工布线用 2xFR4，同机柜且已验证主机配对处才用 VR8 类或 LPO。
管理： CMIS 4.0 或更高，让诊断、功率等级与通道映射从第一天起可脚本化。
遥测： 把 corrected-codeword 与前 FEC BER 计数器接进集群调度器。把一条劣化链路当维护事件而非噪声，因为在同步集合里它是未来的中断。
冗余： 即便今天买的是 100G 每通道硅片，也为 200G 每通道光模块预留笼子与制冷能力。/1-6t-transceiver-roadmap-2026 解释这冗余到底值多少、哪里仍是推测。
备件： 按模块数量而非交换机数量来定备件池大小。一个有两千模块的 pod 需要为模块故障定尺寸的备件池，且该池应属同一 SKU 家族，以保持诊断基线可比。

参考来源

IEEE 802.3df - 介质表背后的 800G PMD 定义（SR8、DR8、2FR4、2LR4）。
IEEE P802.3dj - 冗余建议中引用的 200G 每通道工作。
OSFP MSA - 讨论的 800G OSFP 模块的热与机械包络。
QSFP-DD MSA - QSFP-DD800 热扩展与 CMIS 管理接口。
OIF - 定义 DCI 边界的 CEI 电气接口与相干项目。
Ethernet Alliance - 800G 光模块与 LPO 的多厂商互操作演示。

模块数量与功耗数字为 2026 硬件的规划估算。Pod 级光模块数量随拓扑、超额认购与存储设计而变；为你自己的互联算出来，而不是套用经验法则。

FAQ

为何 AI 集群偏好 rail 优化拓扑？: 集合通信流量是等级感知的。Rail 优化把跨服务器的同一 GPU 序号放到同一台交换机，让多数流量一跳完成，并降低拖停同步训练 step 的尾延迟。
机柜内 800G 下 DAC 还可行吗？: 勉强。无源 800G DAC 距离因 PAM4 衰减约为 1–2 m；AEC 用有源 redriver 把它延到约 3–5 m。再远，光模块主导。功耗是取舍：每光模块 12–16 W 对每 800G AEC 4–8 W。
今天 LPO 与 CPO 的实际区别是什么？: LPO 从模块移除 DSP，模块功耗大致减半，但要求主机 SerDes 补偿通道损耗，这使它对主机与通道质量敏感。CPO 把光模块移到交换封装上：最佳能效，但光模块不再是现场可更换的。
一个 800G GPU pod 实际需要多少光模块？: 在每 GPU 一个 800G 端口的无阻塞 rail 优化 pod 里，光模块数约为互联每 GPU 一个模块、加上存储与管理每 GPU 当量一个，所以一个 1024 GPU pod 在备件前落在约 2000–2500 个。是这个数量、而非交换机数量，驱动备件与故障率预算。