Трансивер не поднимает линию: порядок полевой диагностики

Линия, которая не поднимается, — это последовательность, а не догадка. Чистка, конфигурация, проверка, замена — в этом порядке, причём чтение DDM говорит, когда остановиться.

Порт, который не поднимается, — редкая возможность: это один из немногих сбоев в ЦОД, который можно полностью диагностировать за пять минут, не имея ничего, кроме того, что уже есть в коммутаторе. Большинство команд пропускают эту возможность и идут прямо в RMA, тратя неделю времени поставки на решение проблемы, которая обычно была грязным торцом или несоответствием FEC.

Последовательность ниже упорядочена по стоимости исследования, а не по вероятности. Чистка ничего не стоит и занимает тридцать секунд. Сравнение конфигурации стоит двух минут. Телеметрия — одной. Только после этого имеет смысл менять железо, потому что замена уничтожает улики.

Прежде чем чистить что-либо: определите, что значит «down»

Большинство сообщений «нет линка» — на самом деле одно из четырёх разных состояний, и правильное следующее действие для каждого отличается.

СостояниеЧто вы реально видитеЧто проверить первым
Модуль не обнаруженПорт не видит оптикуПосадка, защёлка, повреждение кейджа, сбой чтения EEPROM
Модуль обнаружен, порт admin downИнтерфейс есть, но отключёнКонфиг порта, блокировка типа span-tree/VLAN, состояние автоматизации
Порт up, нет трафикаLED линка горит, счётчики плоскиеРасхождение маршрутизации/VLAN, не оптический сбой
Порт флэпаетЛинк поднимается и падает повторноСчётчики FEC, маргинальная мощность, термо

Модуль, который вообще не обнаруживается, — это проблема посадки или питания, и никакая чистка не поможет. Порт, отключённый административно, выдаст идеально здоровую таблицу DDM. Десять секунд на проверку, в каком вы состоянии, экономят следующие двадцать минут.

Порядок диагностики

1. INSPECT   connector seated? latch closed? dust cap off both ends?
2. CLEAN     one-click cleaner on every ferrule that was ever exposed
3. CONFIGURE speed, FEC, autoneg, lane map matching on both ends
4. TELEMETRY DDM: Tx power, Rx power, bias, temperature on BOTH ends
5. ISOLATE   swap module / port / cable, one variable at a time

Пропуск шага 2 — самая частая ошибка в поле, потому что разъём выглядит чистым. Пропуск шага 3 — вторая, потому что несоответствие конфигурации даёт отказ линка без какого-либо оптического симптома.

Почему чистка — шаг второй, а не первый

Если модуль не обнаружен, торец — не проблема. Сначала установите обнаруживаемость, затем чистите. Исключение — любой разъём, который пересоединялся в последний час: почистите его, прежде чем винить что-то ещё, потому что вероятность загрязнения высока, а стоимость чистки близка к нулю.

Стандарт инспекции — IEC 61300-3-35, который определяет зоны годен/брак для торца наконечника. Дешёвый ручной микроскоп выявляет загрязнение, которое визуальная проверка глазом не видит; одноразовый чиститель не заменяет инспекцию, когда один и тот же линк отказывает дважды.

Почему конфигурация — отдельный шаг от телеметрии

Неисправности конфигурации дают здоровые показания DDM. Rx в норме, Tx в норме, температура в норме, а линк всё равно лежит, потому что один конец форсирует RS-FEC, а другой ждёт FC-FEC, или потому что порт ждёт отображение линий 2x200G, а модуль выдаёт 8x50G.

Читать телеметрию первой — естественный инстинкт, и он ведёт к выводу «оптика хороша, значит, дело в коммутаторе» — что верно, но бесполезно, потому что проблема коммутатора — это строка конфигурации, которую можно было проверить на шаге 3.

Таблица решений DDM

Читайте телеметрию на обоих концах, прежде чем делать выводы. Одностороннее чтение — самый частый источник неверных выводов во всём этом процессе.

Наблюдение (ближний / дальний)Наиболее вероятная причинаДействие
Ближний Rx очень низкий, дальний Tx в нормеГрязное или оборванное волокно, плохое сочленениеПочистить, переустановить, осмотреть микроскопом
Ближний Rx низкий и дальний Tx низкийСбой лазера или драйвера на дальнем концеRMA дальнего модуля
И Tx, и Rx в норме, линк всё равно лежитРасхождение скорости или FEC, карта линий, конфиг хостаСравнить конфиг портов; попробовать принудительную скорость
Rx в норме, большой счётчик corrected-codewordМаргинальная мощность или загрязнённый торецСначала почистить, затем сравнить с бюджетом
Ток смещения Tx растёт неделямиСтарение лазераЗапланировать RMA до жёсткого отказа
Температура корпуса намного выше соседейЗаблокирован обдув кейджа, горячий соседПроверить обдув и зазоры между модулями
Мощность Rx колеблется более чем на 0.5 дБНестабильное сочленение или натянутый кабельПереобжать или заменить патч-корд

Асимметрия, которая вводит в заблуждение

Мощность Rx на ближнем конце говорит только о пути приёма. Она ничего не говорит о том, производит ли дальний передатчик соответствующий свет, и ничего о том, вообще ли тренировался дальний конец. Когда телеметрия ближнего конца безупречна, а линк лежит, полезное следующее чтение — дальний конец, а не замена модуля.

Ловушки совместимости, маскирующиеся под мёртвое железо

На их долю приходится большая часть модулей, возвращённых, а затем прошедших входной контроль.

Блокировки кодирования вендора. Многие платформы отвергают неизвестные коды EEPROM на уровне драйвера. Модуль электрически исправен. Прежде чем выбрасывать его, проверьте на разблокированной платформе; если там он поднимается, проблема в политике кодирования, а не в отказе. Допустимы ли блокировки кодирования для вас — это закупочный вопрос, а не технический, но решать его надо до того, как приедет парк незакодированных модулей.

Асимметрия скорости между SFP+ и SFP28. Модуль 25G в порту 10G обычно договаривается вниз. Модуль 10G в порту 25G не договорится вверх и часто сообщается как «неподдерживаемый», а не «отсутствует», что посылает людей искать не тот сбой. В матрице совместимости 10G против 25G разобрано, какие комбинации реально тренируются.

Несоответствие режима FEC. RS-FEC против FC-FEC кладёт линк на уровне PCS при идеальной оптике. Чаще всего это появляется при смешивании поколений вендоров на одной линии, потому что умолчания различаются.

Путаница с картой линий на 400G и выше. Модуль 400GBASE-DR4 в порту, настроенном на breakout 4x100G, тренирует часть линий и роняет остальные, причём DDM показывает хорошую мощность на работающих линиях. Проверьте конфигурацию breakout до оптики; модуль делает ровно то, что ему велели.

AOC, принятый за DAC. Активный оптический кабель требует питания, греется сильнее меди и отказывает иначе. Диагностика его медным сценарием скрывает реальный сбой.

Несовпадение форм-фактора с адаптером. Модуль OSFP в кейдже QSFP-DD не работает, и никакой пассивный адаптер этого не меняет. В сравнении форм-факторов объясняется, почему два они механически несовместимы.

Изоляция: пять минут и три замены

Move suspect module -> known-good port
  links?  -> original port or its config is at fault
  no?     -> continue

Insert known-good module -> original port
  links?  -> RMA the suspect module
  no?     -> continue

Replace fiber path with a tested patch cord
  links?  -> cabling fault; run an insertion-loss test
  no?     -> configuration, firmware or EEPROM; pull port logs
flowchart TD
    A[Port down / no link] --> B[Swap module to known-good port]
    B -->|Links| C[Original port or config fault]
    B -->|Still down| D[Insert known-good module in original port]
    D -->|Links| E[RMA suspect module]
    D -->|Still down| F[Replace fiber path with tested patch cord]
    F -->|Links| G[Cabling plant fault - run insertion-loss test]
    F -->|Still down| H[Check config, firmware, EEPROM dump]

Дисциплина, делающая это работой, — менять одну переменную за раз. Замена модуля и кабеля вместе даёт работающий линк и ноль информации, а значит, тот же сбой повторится на следующей неделе на другом порту.

Когда модуль действительно неисправен

RMA — правильный ответ, когда: модуль отказывает более чем в одном заведомо исправном порту, заведомо исправный модуль работает в исходном порту, и телеметрия показывает физический сбой (нет выхода Tx, ток смещения далеко за пределами партийного базового, показания датчика температуры неправдоподобны). Все три условия, а не одно.

Всё, что меньше этого, стоит ещё одного сравнения конфигурации, потому что возвращённый модуль, прошедший входной контроль, стоит вам времени поставки и ставит вопрос к вашему собственному процессу.

После того как линк поднялся

Линк, который тренировался, — не здоровый линк. Наблюдайте 24 часа, затем сделайте базовую линию.

МетрикаПорог предупреждения
Corrected codewords / счётчики FECРовный рост означает маргинальную мощность или грязный торец
Дрейф мощности Rx DDMПадение более 0.5 дБ за день говорит о загрязнении или натяжении кабеля
Температура модуляУстойчивые +10 °C к соседям говорят о проблеме обдува кейджа
Флэпы линкаЛюбой флэп стоит проверки; коллективные нагрузки считают флэпы фатальными для задачи

Если pre-FEC BER растёт, а мощность держится ровно, проблема в пенальти, а не в потерях, и в разборе бюджета линии есть арифметика для решения, канал или модуль за это ответственен.

Источники

Пороги в таблице DDM — полевые эмпирические правила, а не предельные значения спецификации. Авторитетные значения — в даташите модуля и квалифицированном списке платформы коммутатора; используйте их, когда решение имеет гарантийные или SLA-последствия.

FAQ

LED линка не горит, но DDM показывает хорошую мощность Rx. Что дальше?
Rx доказывает только приёмный оптический путь. Проверьте дальний конец: мощность Tx удалённого модуля и то, согласовали ли обе стороны одну скорость и FEC. Асимметричные настройки PAM4/NRZ между портом 25G, принудительно включённым, и модулем 10G удержат линк внизу даже при идеальной оптике.
Чистить разъёмы волокна каждый раз?
Да, при каждом пересоединении, одноразовым чистителем. Одна пылинка на 1310 нм на одномодовом наконечнике стоит 1–3 дБ, чего достаточно, чтобы опустить линк класса DR ниже бюджета без видимых симптомов.
Как отличить плохой модуль от плохого порта?
Меняйте переменные по одной: модуль в заведомо исправный порт, заведомо исправный модуль в подозрительный порт и в последнюю очередь — волоконный путь. Две из трёх замен изолируют сбой в модуль, порт или кабель меньше чем за пять минут.
Какой доля ложных возвратов по RMA вызвана конфигурацией, а не железом?
Большая доля. Блокировки кодирования, расхождения скорости и FEC, ошибки карты линий — всё это выглядит как мёртвое железо. Процедура изоляции в этой статье существует потому, что тест модуля на столе ничего не доказывает, если вы воспроизводите ту же неверную конфигурацию.