Миграция 400G на 800G: полевые заметки реальных внедрений
Каждая миграция 400G→800G, на которой мы присутствовали, ломалась на первой неделе — и это были никогда не оптика. Это были допущения, которые шли вместе с ней.
Слайд-дек для миграции 400G→800G всегда одинаковый и всегда правильный: кейджи поддерживают, модули доступны, бюджеты утверждены. Потом наступает первая неделя. Во всех развёртываниях, которые мы либо вели сами, либо в которые нас звали, постоянно всплывает один и тот же короткий список проблем — ни одна из них не экзотическая, все обнаруживаются заранее. Это версия истории с изменёнными названиями и убранными суммами в инвойсах.
Неделя первая: кейдж, которого не было
Самый надёжный сюрприз первой недели — фраза «800G-capable» в даташите коммутатора. Она может означать кейдж OSFP, кейдж QSFP-DD800 или кейдж QSFP-DD, принимающий модули 800G только из списка, квалифицированного вендором, с понижением мощности на порт, когда шасси полностью заполнено. Закупка, которая перестала читать на слове «800G», обнаруживает на первой неделе, что половина заказанных модулей — не того форм-фактора, либо что правильные ограничены более низким классом мощности, чем заявлено на этикетке.
Проверка, которая это предотвращает, занимает один email: спросите у вендора коммутатора максимальную мощность на порт при входе 45 °C со всеми заполненными портами и сопутствующий квалифицированный список модулей. Если ответ уходит от ответа про «все порты заполнены», считайте осторожный ответ реальным — обычно он отражает измеренный предел потока воздуха, а не упущение. Руководство по выбору 800G превращает это в чек-лист заказа.
Неделя вторая: полярность MPO, снова
Если миграция включает новые магистрали DR8, ждите, что разговор о полярности воскреснет из мёртвых. Заводы, десятилетие работавшие на дуплексном LC, обладают институциональным знанием про дуплекс: почистил, воткнул, работает. DR8 живёт на 8- и 16-волоконных магистралях MPO, где отображение волокон — тип A, тип B, пол кассеты — решает, существует ли путь вообще.
Подпись отказа характерная и стоит того, чтобы её запомнить: линк отказывается подниматься, DDM показывает либо отсутствие RX-мощности, либо RX на неправильных линиях, и каждый компонент по отдельности тестируется нормально. Мы наблюдали бригаду, установившую свежую партию магистралей от нового поставщика; кассеты были другого типа полярности, чем предыдущая партия, ничего не было помечено иначе, и исчезло четыре часа. Разбор полярности MPO существует именно потому, что это повторяется. Практическая мера скучная и эффективная: один SKU магистрали, один тип кассеты, маркировка на обоих концах, с конвенцией полярности, напечатанной в плане монтажа — не в переписке по email.
Тонкость с брейкаутом
Где-то на второй неделе команда обнаруживает, что модуль DR8 и брейкаут 2x400G-DR4 представляются коммутатору по-разному: один порт или два. Оптика в BOM выглядит взаимозаменяемой. Автоматизация не согласна. Подтвердите, чего ждёт система управления сетью, до того, как начнёт кабельная бригада, а не после.
Неделя третья: питание и раскрутка
Полностью заполненное шасси 800G несёт около киловатта оптики поверх ASIC. Три вещи укусили реальные развёртывания на этом этапе:
| Проблема | Симптом | Предотвращение |
|---|---|---|
| Недооценён запас БП | Аварии при полном заполнении; принудительное понижение мощности модулей | Закладывайте мощность оптики на стойку, а не на шасси |
| Бросок тока при одновременном включении модулей | События питания при массовом повторном включении после обслуживания | Разносите включение портов там, где платформа позволяет |
| Дневной пик нагрева | Флаги температуры, редкие падения линка | Повторите съёмку телеметрии в пик, а не при вводе в эксплуатацию |
Ничего из этого не появляется на лабораторном стенде при половинном заполнении и в комнате 25 °C. Тест при полном заполнении и реальной температуре окружения — настоящий приёмочный тест миграции; всё до него — репетиция.
Чему научил нас DDM
Единственная самая высокая привычка с точки зрения отдачи из этих развёртываний ничего не стоит: снимите снимок DDM по портам при вводе в эксплуатацию и снова через две недели производственной работы. Сравнивайте, а не осматривайте. Смещение TX bias с 41 до 47 мА при той же температуре корпуса — это находка; те же два числа на разных портах ничего не значат.
Привычка сравнения — это то, что делает последующую диагностику разрешимой. Когда что-то в итоге деградирует — а при таком числе портов что-то деградирует, — базовая линия говорит вам, сдвинулось ли оно, а порядок диагностики неподнятия линка говорит, что проверять дальше. Миграции без базовых линий диагностируют всё методом «замени и молись», что медленнее и ничему не учит.
Один вендор на рельс
Держите одного вендора модулей на рельс. Смешанные вендоры внутри рельса дают два набора порогов аварии и два поведения bias, и каждое расследование аномалии начинается с «а какой вендор у этого порта?». Разница в цене, мотивировавшая смешивание, никогда не больше инженерного времени, которое оно стоит.
Запасные — это номера деталей, а не скорости
Запасной «той же скорости, но более нового SKU» имеет другую прошивку и другое поведение регистров. Он заработает на стенде и удивит вас в производстве. Запасные должны быть тем же номером детали, что и производственные модули, которые они страхуют, и провести срок на полке в той же записи квалификации.
Пять вещей, которые мы сделали бы иначе
- Зафиксируйте кейдж и класс мощности в заказе на закупку, а не в последующем email. Слова «800G-capable» стоили дороже, чем любой отдельный модуль.
- Стандартизируйте один SKU магистрали MPO и маркируйте полярность на плане. Новый поставщик + немаркированная конвенция = минимум один потерянный день.
- Тестируйте при полном заполнении и реальной температуре до приёмки. Разрыв между условиями ввода и условиями эксплуатации — там, где прячутся проблемы всех трёх недель.
- Снимите базовую линию DDM в день один и сравните через две недели. Это самая дёшевая программа телеметрии в сетях, и она окупается при первом деградировавшем лане.
- Делите по рельсам, а не по стойкам. Завершение одного рельса от начала до конца вскрывает проблемы интеграции (поддержка брейкаута, мониторинг, запасные), пока радиус поражения — один рельс, а не вся фабрика.
Тихий вывод
Ни одна из этих проблем не в том, что 800G хрупкий. Сама оптика была самой надёжной частью каждого развёртывания, которое мы видели. Что миграция на самом деле проверяет — это совпадают ли допущения организации (о своей кабельной системе, о бюджете питания, о тепловом контуре) с тем машинным залом, который они описывают. Модули в порядке. Не хватает чек-листов, и, в отличие от модулей, чек-листы бесплатны.
Источники
- IEEE 802.3df Task Force - the 800G PMD amendments (DR8, SR8 and the 2xFR4-class options) referenced in the migration paths above.
- QSFP-DD MSA - cage, power class and CMIS management specifications behind the per-port limits discussed.
- OSFP MSA - mechanical and thermal envelope for OSFP deployments.
- Ethernet Alliance - multi-vendor interoperability testing, a useful external sanity check on module/cage combinations.
Эта статья отражает накопленный опыт развёртываний, анонимизированный и обобщённый. Специфика площадки — кабельная система, температура окружения, квалификация платформы — всегда перевешивает общие рекомендации.
FAQ
- Можно ли перейти на 800G без перекладки кабелей?
- Часто да, с модулями класса 2xFR4, которые обеспечивают 800G по существующим дуплексным парам LC на расстояние около 2 км. Но сначала проверьте оптический бюджет: группировка линий CWDM добавляет потери внутри модуля, и линк, который был вольготным на 400G FR4, может оказаться на грани на 800G. Измеряйте, не предполагайте.
- Что проверить в первую очередь на коммутаторе «800G-capable»?
- Точный тип кейджа и квалифицированный список модулей вендора при вашей реальной температуре на входе. «800G-capable» покрывает как минимум три механически разных кейджа, а предел мощности на порт может зависеть от заполнения модулями и потока воздуха так, как заголовочный даташит не показывает.
- Почему проблемы MPO возвращаются при миграции на 800G?
- Потому что DR8 переводит трафик на 8- и 16-волоконные магистрали, которые многие заводы раньше не эксплуатировали. Новая партия магистралей или кассет — новый шанс внести рассогласование полярности, и отказ молчалив: линк просто не поднимается.
- Допустимо ли смешивать порты 400G и 800G на одном коммутаторе?
- Да, и это обычно мост-стратегия: кейджи 800G-capable работают на модулях 400G, пока остальная фабрика догоняет. Только держите одного вендора на рельс, чтобы базовые линии DDM и поведение аварий оставались сопоставимыми.
- Как долго миграция должна «вымачиваться» перед объявлением успеха?
- Как минимум один полный недельный цикл нагрузки, включая тепловой пик. Несколько описанных здесь отказов проявляются только при полностью заполненном шасси, в послеобеденной температуре на входе, с производственным трафиком — ничего из этого не существует в день ввода в эксплуатацию.