400G 迁 800G:真实部署现场笔记
我们亲历过的每一次 400G 到 800G 迁移,都在第一周出问题,而出问题的从来不是光模块。是随之而来的那些假设。
400G 到 800G 迁移的演示文稿永远同一套、也永远正确:笼子支持、模块到位、预算获批。然后第一周来了。在我们自己运行或被叫去支援的多次部署里,同样几类问题反复出现,没有一个是稀奇的,且全部都能提前发现。这是换了名字、抹掉账单金额之后的版本。
第一周:那个“不是”的笼子
最稳的第一周意外,就是交换规格书上“800G 兼容”那几个字。它可能指 OSFP 笼子、QSFP-DD800 笼子,或者一个 QSFP-DD 笼子——后者只在厂商合格清单内的 800G 模块才接受,且机箱满配后每端口功率降额。采购读到“800G”就停下来的,会在第一周发现:订的模块一半形态因子不对,或者对的那些被封顶在比标称更低的功率等级。
防范这一点的检查只需一封邮件:向交换厂商要 45°C 进风、全端口满配下的每端口最大模块功耗,以及对应的合格模块清单。如果回复在“全端口满配”上含糊其辞,就把那个含糊的数字当真——它通常反映一个实测的风量上限,而不是疏漏。/800g-transceiver-selection-guide 把这变成一张下单清单。
第二周:MPO 极性,又来了
如果迁移包含新的 DR8 干线,等着极性话题“死而复生”吧。跑了一十年双工 LC 的布线,关于双工有机构记忆:擦一擦、插上去、通了。DR8 活在 8 芯和 16 芯 MPO 干线上,而光纤映射——A 型、B 型、配线架公母——决定一条通路到底存不存在。
失败特征鲜明,值得记住:链路拒绝 up,DDM 要么显示无 RX 功率、要么 RX 功率落在错的通道上,而每个部件单独测试都正常。我们见过一队人从一个新供应商那里装了一批新干线;配线架与前一批极性类型不同,没有任何不同标注,四小时就这么没了。/mpo-polarity-explained-type-a-b-c 之所以存在,正是因为这事反复发生。务实的缓解办法无聊但有效:一个干线 SKU、一个配线架类型,两端都贴标,极性约定印在安装图上——而不是留在邮件往来里。
breakout 的皱褶
大概在第二周前后,团队会发现 DR8 模块和 2x400G-DR4 breakout 在交换机面前长得不一样:一个端口还是两个端口。在 BOM 里光模块看起来可互换。自动化系统不这么认为。在布线队开工前,确认网管系统期望什么,而不是之后。
第三周:功率与上电
满配状态下,一台 800G 机箱在 ASIC 之外还要背上约一千瓦的光模块。这个阶段有三类事咬过真实部署:
| 问题 | 症状 | 预防 |
|---|---|---|
| PSU 余量算错 | 满配报警;被迫模块降额 | 按机柜而非按机箱预算光模块功耗 |
| 模块同时使能时的浪涌 | 维护后批量重启用期间的电源事件 | 在平台允许处错开端口启用 |
| 午后热峰 | 温度告警、偶发链路掉线 | 在峰值而非验收时重跑遥测扫描 |
这些都不会出现在半满配、25°C 房间的实验台上。全满配、真实环境温度测试,才是迁移真正的验收测试;之前一切都只是彩排。
DDM 教我们的
这些部署里杠杆最高、且零成本的一个习惯:验收时拍一张每端口 DDM 快照,投产两周后再拍一张。是对比,不是检查。在相同壳温下从 41 漂到 47 mA 的 TX 偏置,是一个发现;不同端口上的同样两个数字毫无意义。
对比习惯让后续诊断变得可处理。当某处最终劣化——以这种端口数,迟早会——基线告诉你它有没有动,而 /sfp-qsfp-transceiver-not-linking-troubleshooting 告诉你下一步查什么。没有基线的迁移,一切靠“换了再说”,更慢、也学不到东西。
每条 rail 一个厂商
每条 rail 只用一个模块厂商。rail 内混用厂商,会产出两套告警阈值和两套偏置行为,每次异常排查都从“这端口又是哪家”开始。当初促成混用的价差,永远抵不过它消耗的工程时间。
备件是物料号,不是速率
“同速率但更新 SKU”的备件,固件版本不同、寄存器行为不同。它能在测试台工作,也会在生产里吓你一跳。备件应与它备份的在用模块同物料号,并且其库存寿命应处在同一份合格记录里。
我们会有不同做法的五件事
- 把笼子和功率等级钉进采购订单,而不是后续邮件。单是“800G 兼容”这几个字,比任何单个模块都烧钱。
- 统一一个 MPO 干线 SKU,并在图纸上标出极性。 新供应商 + 未标注约定 = 至少白丢一个下午。
- 在签字前按全满配和真实环境温度测试。 验收条件与生产条件之间的落差,藏着这三周所有问题。
- 第一天就给 DDM 建基线,两周后做 diff。 这是网络里最便宜的遥测项目,在第一个劣化通道上就回本。
- 按 rail 分阶段,不按机柜。 端到端完成一条 rail,能在爆炸半径仅一条 rail、而非整张互联时,暴露集成问题(breakout 支持、监控、备件)。
安静的结论
这些问题没有一个是 800G 本身脆弱。光模块本身是我们见过的每场部署里最可靠的部分。迁移真正考验的,是这个组织的假设——关于自己的布线、自己的功率预算、自己的散热包络——是否匹配它所描述的机房。模块没问题。缺的是清单;而和模块不同,清单是免费的。
参考来源
- IEEE 802.3df Task Force - 上述迁移路径引用的 800G PMD 修订案(DR8、SR8 和 2xFR4 类选项)。
- QSFP-DD MSA - 讨论的每端口限制背后的笼子、功率等级与 CMIS 管理规范。
- OSFP MSA - OSFP 部署的机械与热包络。
- Ethernet Alliance - 多厂商互操作测试,对模块/笼子组合有用的外部校验。
本文反映积累的部署经验,已匿名化与泛化。站点细节——布线、环境温度、平台合格性——永远优先于一般性指引。
FAQ
- 不重新布线也能迁到 800G 吗?
- 多数可以,用 2xFR4 类模块,在现有双工 LC 对上跑 800G 到约 2 km。但先查光预算:CWDM 通道分组会在模块内增加损耗,一条在 400G FR4 下很宽裕的链路,到 800G 可能变得勉强。测,别假设。
- ‘800G 兼容’交换机上第一件要核实的事是什么?
- 确切的笼子类型,以及在你真实进风温度下的厂商合格模块清单。“800G 兼容”至少涵盖三种机械不同的笼子,且每端口功率上限可能依赖模块装填与风量,方式在头条规格书上看不到。
- 800G 迁移期间 MPO 问题为何反复出现?
- 因为 DR8 把流量推上 8 芯和 16 芯干线,许多布线此前从未跑过。新一批干线或配线架,就是引入极性错配的新机会,而且失败是静默的:链路就是不起来。
- 同一台交换机上混用 400G 和 800G 端口可以吗?
- 可以,而且通常是过渡策略:800G 兼容笼子先跑 400G 模块,等互联其余部分跟上。只要每条 rail 保持一个厂商,DDM 基线和告警行为就可比。
- 迁移试运转多久才能宣告成功?
- 至少一整周负载周期,含热峰。我们描述的几类失败,只在机箱满配、午后进风温度、带着生产流量时才出现——验收当天这些都不存在。