Трансивер не поднимает линию: порядок полевой диагностики
Линия, которая не поднимается, — это последовательность, а не догадка. Чистка, конфигурация, проверка, замена — в этом порядке, причём чтение DDM говорит, когда остановиться.
Порт, который не поднимается, — редкая возможность: это один из немногих сбоев в ЦОД, который можно полностью диагностировать за пять минут, не имея ничего, кроме того, что уже есть в коммутаторе. Большинство команд пропускают эту возможность и идут прямо в RMA, тратя неделю времени поставки на решение проблемы, которая обычно была грязным торцом или несоответствием FEC.
Последовательность ниже упорядочена по стоимости исследования, а не по вероятности. Чистка ничего не стоит и занимает тридцать секунд. Сравнение конфигурации стоит двух минут. Телеметрия — одной. Только после этого имеет смысл менять железо, потому что замена уничтожает улики.
Прежде чем чистить что-либо: определите, что значит «down»
Большинство сообщений «нет линка» — на самом деле одно из четырёх разных состояний, и правильное следующее действие для каждого отличается.
| Состояние | Что вы реально видите | Что проверить первым |
|---|---|---|
| Модуль не обнаружен | Порт не видит оптику | Посадка, защёлка, повреждение кейджа, сбой чтения EEPROM |
| Модуль обнаружен, порт admin down | Интерфейс есть, но отключён | Конфиг порта, блокировка типа span-tree/VLAN, состояние автоматизации |
| Порт up, нет трафика | LED линка горит, счётчики плоские | Расхождение маршрутизации/VLAN, не оптический сбой |
| Порт флэпает | Линк поднимается и падает повторно | Счётчики FEC, маргинальная мощность, термо |
Модуль, который вообще не обнаруживается, — это проблема посадки или питания, и никакая чистка не поможет. Порт, отключённый административно, выдаст идеально здоровую таблицу DDM. Десять секунд на проверку, в каком вы состоянии, экономят следующие двадцать минут.
Порядок диагностики
1. INSPECT connector seated? latch closed? dust cap off both ends?
2. CLEAN one-click cleaner on every ferrule that was ever exposed
3. CONFIGURE speed, FEC, autoneg, lane map matching on both ends
4. TELEMETRY DDM: Tx power, Rx power, bias, temperature on BOTH ends
5. ISOLATE swap module / port / cable, one variable at a time
Пропуск шага 2 — самая частая ошибка в поле, потому что разъём выглядит чистым. Пропуск шага 3 — вторая, потому что несоответствие конфигурации даёт отказ линка без какого-либо оптического симптома.
Почему чистка — шаг второй, а не первый
Если модуль не обнаружен, торец — не проблема. Сначала установите обнаруживаемость, затем чистите. Исключение — любой разъём, который пересоединялся в последний час: почистите его, прежде чем винить что-то ещё, потому что вероятность загрязнения высока, а стоимость чистки близка к нулю.
Стандарт инспекции — IEC 61300-3-35, который определяет зоны годен/брак для торца наконечника. Дешёвый ручной микроскоп выявляет загрязнение, которое визуальная проверка глазом не видит; одноразовый чиститель не заменяет инспекцию, когда один и тот же линк отказывает дважды.
Почему конфигурация — отдельный шаг от телеметрии
Неисправности конфигурации дают здоровые показания DDM. Rx в норме, Tx в норме, температура в норме, а линк всё равно лежит, потому что один конец форсирует RS-FEC, а другой ждёт FC-FEC, или потому что порт ждёт отображение линий 2x200G, а модуль выдаёт 8x50G.
Читать телеметрию первой — естественный инстинкт, и он ведёт к выводу «оптика хороша, значит, дело в коммутаторе» — что верно, но бесполезно, потому что проблема коммутатора — это строка конфигурации, которую можно было проверить на шаге 3.
Таблица решений DDM
Читайте телеметрию на обоих концах, прежде чем делать выводы. Одностороннее чтение — самый частый источник неверных выводов во всём этом процессе.
| Наблюдение (ближний / дальний) | Наиболее вероятная причина | Действие |
|---|---|---|
| Ближний Rx очень низкий, дальний Tx в норме | Грязное или оборванное волокно, плохое сочленение | Почистить, переустановить, осмотреть микроскопом |
| Ближний Rx низкий и дальний Tx низкий | Сбой лазера или драйвера на дальнем конце | RMA дальнего модуля |
| И Tx, и Rx в норме, линк всё равно лежит | Расхождение скорости или FEC, карта линий, конфиг хоста | Сравнить конфиг портов; попробовать принудительную скорость |
| Rx в норме, большой счётчик corrected-codeword | Маргинальная мощность или загрязнённый торец | Сначала почистить, затем сравнить с бюджетом |
| Ток смещения Tx растёт неделями | Старение лазера | Запланировать RMA до жёсткого отказа |
| Температура корпуса намного выше соседей | Заблокирован обдув кейджа, горячий сосед | Проверить обдув и зазоры между модулями |
| Мощность Rx колеблется более чем на 0.5 дБ | Нестабильное сочленение или натянутый кабель | Переобжать или заменить патч-корд |
Асимметрия, которая вводит в заблуждение
Мощность Rx на ближнем конце говорит только о пути приёма. Она ничего не говорит о том, производит ли дальний передатчик соответствующий свет, и ничего о том, вообще ли тренировался дальний конец. Когда телеметрия ближнего конца безупречна, а линк лежит, полезное следующее чтение — дальний конец, а не замена модуля.
Ловушки совместимости, маскирующиеся под мёртвое железо
На их долю приходится большая часть модулей, возвращённых, а затем прошедших входной контроль.
Блокировки кодирования вендора. Многие платформы отвергают неизвестные коды EEPROM на уровне драйвера. Модуль электрически исправен. Прежде чем выбрасывать его, проверьте на разблокированной платформе; если там он поднимается, проблема в политике кодирования, а не в отказе. Допустимы ли блокировки кодирования для вас — это закупочный вопрос, а не технический, но решать его надо до того, как приедет парк незакодированных модулей.
Асимметрия скорости между SFP+ и SFP28. Модуль 25G в порту 10G обычно договаривается вниз. Модуль 10G в порту 25G не договорится вверх и часто сообщается как «неподдерживаемый», а не «отсутствует», что посылает людей искать не тот сбой. В матрице совместимости 10G против 25G разобрано, какие комбинации реально тренируются.
Несоответствие режима FEC. RS-FEC против FC-FEC кладёт линк на уровне PCS при идеальной оптике. Чаще всего это появляется при смешивании поколений вендоров на одной линии, потому что умолчания различаются.
Путаница с картой линий на 400G и выше. Модуль 400GBASE-DR4 в порту, настроенном на breakout 4x100G, тренирует часть линий и роняет остальные, причём DDM показывает хорошую мощность на работающих линиях. Проверьте конфигурацию breakout до оптики; модуль делает ровно то, что ему велели.
AOC, принятый за DAC. Активный оптический кабель требует питания, греется сильнее меди и отказывает иначе. Диагностика его медным сценарием скрывает реальный сбой.
Несовпадение форм-фактора с адаптером. Модуль OSFP в кейдже QSFP-DD не работает, и никакой пассивный адаптер этого не меняет. В сравнении форм-факторов объясняется, почему два они механически несовместимы.
Изоляция: пять минут и три замены
Move suspect module -> known-good port
links? -> original port or its config is at fault
no? -> continue
Insert known-good module -> original port
links? -> RMA the suspect module
no? -> continue
Replace fiber path with a tested patch cord
links? -> cabling fault; run an insertion-loss test
no? -> configuration, firmware or EEPROM; pull port logs
flowchart TD
A[Port down / no link] --> B[Swap module to known-good port]
B -->|Links| C[Original port or config fault]
B -->|Still down| D[Insert known-good module in original port]
D -->|Links| E[RMA suspect module]
D -->|Still down| F[Replace fiber path with tested patch cord]
F -->|Links| G[Cabling plant fault - run insertion-loss test]
F -->|Still down| H[Check config, firmware, EEPROM dump]Дисциплина, делающая это работой, — менять одну переменную за раз. Замена модуля и кабеля вместе даёт работающий линк и ноль информации, а значит, тот же сбой повторится на следующей неделе на другом порту.
Когда модуль действительно неисправен
RMA — правильный ответ, когда: модуль отказывает более чем в одном заведомо исправном порту, заведомо исправный модуль работает в исходном порту, и телеметрия показывает физический сбой (нет выхода Tx, ток смещения далеко за пределами партийного базового, показания датчика температуры неправдоподобны). Все три условия, а не одно.
Всё, что меньше этого, стоит ещё одного сравнения конфигурации, потому что возвращённый модуль, прошедший входной контроль, стоит вам времени поставки и ставит вопрос к вашему собственному процессу.
После того как линк поднялся
Линк, который тренировался, — не здоровый линк. Наблюдайте 24 часа, затем сделайте базовую линию.
| Метрика | Порог предупреждения |
|---|---|
| Corrected codewords / счётчики FEC | Ровный рост означает маргинальную мощность или грязный торец |
| Дрейф мощности Rx DDM | Падение более 0.5 дБ за день говорит о загрязнении или натяжении кабеля |
| Температура модуля | Устойчивые +10 °C к соседям говорят о проблеме обдува кейджа |
| Флэпы линка | Любой флэп стоит проверки; коллективные нагрузки считают флэпы фатальными для задачи |
Если pre-FEC BER растёт, а мощность держится ровно, проблема в пенальти, а не в потерях, и в разборе бюджета линии есть арифметика для решения, канал или модуль за это ответственен.
Источники
- IEEE 802.3cd — поколение 50G на линию, чьё поведение FEC и autonegotiation вызывает многие из случаев несоответствия выше.
- IEEE 802.3ck — электрический уровень 100G на линию, управляющий тем, как линии назначаются и отображаются на 400G и выше.
- QSFP-DD MSA — определения регистров CMIS, используемые при чтении диагностики и данных EEPROM.
- IEC 61300-3-35 — критерии инспекции торца для шагов чистки и инспекции.
- Ethernet Alliance — результаты интероперабельности нескольких вендоров, полезная справка о том, какие комбинации модулей продемонстрированы.
Пороги в таблице DDM — полевые эмпирические правила, а не предельные значения спецификации. Авторитетные значения — в даташите модуля и квалифицированном списке платформы коммутатора; используйте их, когда решение имеет гарантийные или SLA-последствия.
FAQ
- LED линка не горит, но DDM показывает хорошую мощность Rx. Что дальше?
- Rx доказывает только приёмный оптический путь. Проверьте дальний конец: мощность Tx удалённого модуля и то, согласовали ли обе стороны одну скорость и FEC. Асимметричные настройки PAM4/NRZ между портом 25G, принудительно включённым, и модулем 10G удержат линк внизу даже при идеальной оптике.
- Чистить разъёмы волокна каждый раз?
- Да, при каждом пересоединении, одноразовым чистителем. Одна пылинка на 1310 нм на одномодовом наконечнике стоит 1–3 дБ, чего достаточно, чтобы опустить линк класса DR ниже бюджета без видимых симптомов.
- Как отличить плохой модуль от плохого порта?
- Меняйте переменные по одной: модуль в заведомо исправный порт, заведомо исправный модуль в подозрительный порт и в последнюю очередь — волоконный путь. Две из трёх замен изолируют сбой в модуль, порт или кабель меньше чем за пять минут.
- Какой доля ложных возвратов по RMA вызвана конфигурацией, а не железом?
- Большая доля. Блокировки кодирования, расхождения скорости и FEC, ошибки карты линий — всё это выглядит как мёртвое железо. Процедура изоляции в этой статье существует потому, что тест модуля на столе ничего не доказывает, если вы воспроизводите ту же неверную конфигурацию.