OCS в кластерах ИИ: инженерный взгляд

OCS не переносит пакетов и не читает заголовков. Именно поэтому он подходит под ту единственную нагрузку, чья карта трафика стабильна неделями.

Оптика ИИ-датацентров · Опубликовано 2026-10-27 · 5 мин чтения

Самый сильный аргумент в пользу оптической коммутации каналов в кластерах ИИ не оптический вовсе. Это наблюдение за трафиком: тренировочные коллективы общаются между одними и теми же наборами конечных точек всё время жизни задачи. Кольцо all-reduce не пересогласовывает свой состав; пара стадий pipeline-parallel не блуждает. Когда карта связи стабильна днями, главная компетенция пакетного коммутатора — адаптация к непредсказуемым потокам — оплачивается, но почти не используется.

Это наблюдение не ново. Изменилось то, что масштаб делает его экономически оправданным: при тысячах ускорителей на задачу энергопотребление, задержка и капитальные затраты электрического коммутационного яруса оправдывают пересмотр конструкции, в которой эти ярусы обрабатывают только то, что им действительно нужно.

Что на самом деле делает OCS

Оптический коммутатор каналов принимает волокна, перенаправляет их и отправляет наружу. Никакого разбора пакетов, никакой буферизации, никакого контроля перегрузки, никакого поиска в таблице на линейной скорости. Современные реализации в основном используют массивы управляемых зеркал или элементы селекции по длине волны; инженерные свойства, важные для проектирования фабрики, в обоих семействах одинаковы.

Последняя строка — та, которую операторы недооцинают. Когда канал неверно сконфигурирован или деградирует массив зеркал, радиус поражения — это набор путей, а не очередь, и симптом в задаче — зависание коллектива, которое фреймворк обучения воспринимает как зависший rank, а не как потерю пакетов.

Аргумент о трафике, честно

Коммутация каналов выигрывает только там, где каналы устанавливаются один раз и используются интенсивно. Тренировка отвечает этому критерию для коллективов; для всего остального — нет:

• Стабильно всё время жизни задачи: кольца all-reduce градиентов, тензорно-параллельные связи между фиксированными rank, передачи стадий pipeline. Это форма канала: высокий объём, фиксированные конечные точки, большая длительность.
• Пульсирующий и непредсказуемый: загрузка данных, запись чекпоинтов в хранилище, отладочный трафик, любое событие эластичного масштабирования. Этому нужна электрическая коммутация, и она останется.

Поэтому промышленные конструкции накладывают два яруса: электрический ярус для нерегулярного трафика, ярус OCS, несущий тяжёлые стабильные коллективы, — иногда как выделенные пути, минующие электрический ярус целиком, иногда как медленно реконфигурируемый слой топологии, перестраивающий сеть между задачами. В статье о проектировании интерконнекта кластера ИИ разбирается оптимизированный по рельсам электрический базис, поверх которого ложится этот слой.

Последствия для оптики, которые никто не закладывает заранее

Добавление яруса OCS меняет оптическую инфраструктуру больше, чем обещают слайды вендора коммутаторов.

Число волокон взрывается

Каждый канал — это выделенный волоконный путь через коммутатор. Фабрика, которая раньше агрегировала множество потоков в один магистральный ствол коммутатор-коммутатор, теперь ведёт отдельные пути на каждое ребро коллектива. Структурированная кабельная разводка, гигиена MPO и стандарты маркировки перестают быть фоновыми задачами и становятся факторами доступности — правила полярности MPO на порядок важнее, когда один неверно поляризованный ствол молча инвертирует отображение пути.

Вносимые потери входят в бюджет

Теперь каждый путь включает элемент OCS, обычно добавляя несколько дБ в зависимости от технологии и числа портов. Эта потеря вычитается из бюджета трансивера, что ограничивает класс дальности и иногда заставляет ставить более мощный PMD на пути, физически более короткие, чем предполагает оптика. Считайте по путям — привычка из работы с бюджетом линии переносится напрямую, с потерей OCS как ещё одной строкой.

Качество разъёма становится метрикой надёжности

Пакетный коммутатор изолирует грязный разъём до одной линии связи. Коммутатор каналов пропускает свет насквозь, поэтому маргинальные разъёмы на канальных путях одновременно ухудшают коллективную производительность многих конечных точек, а симптом проявляется как разброс пропускной способности обучения, который никто не может атрибутировать. Циклы инспекции разъёмов переходят из «ежегодной лучшей практики» в «требование эксплуатации на уровне задачи».

Набор трансиверов смещается к короткой дальности

Каналы в основном соединяют соседние ряды в одном машинном зале, что благоприятствует параллельным PMD короткой дальности и в некоторых конструкциях экономике direct-attach вместо оптики дальней дальности. Энергия, сэкономленная на коммутационном ярусе, частично возвращается как большее число портов трансиверов короткой дальности; чистый результат зависит от топологии и должен моделироваться, а не предполагаться.

Режимы отказа и эксплуатация

Эксплуатация яруса OCS вводит новые регламенты:

• Проверка путей. После любой реконфигурации пути должны быть проверены оптически (уровни мощности по каждому пути), прежде чем слой задачи примет их. Проверочный шаг, а не перемещение зеркал, доминирует во времени реконфигурации.
• Дисциплина дрейфа топологии. Карта каналов теперь — часть состояния кластера. Ей нужны контроль версий, ревизия diff и откат — та же строгость, что у политики маршрутизации, потому что по сути это она и есть.
• Семантика сбоев. Фреймворки обучения должны научиться различать «путь упал — реконфигурируй» и «rank медленный — перезапусти». Эта интеграционная работа — реальные инженерные усилия и должна быть в плане проекта с первого дня.
• Деградация зеркал. Массивы портов стареют. Периодическая оптическая развёртка мощности по путям ловит дрейфующие порты до того, как на них лягут задачи.

Где электрическая всё ещё выигрывает, прямо

Для большинства кластеров, строящихся в 2026 году, ответ — «почти везде»:

• Меньше нескольких тысяч ускорителей — фиксированные затраты яруса не окупаются.
• Нагрузки с нестабильными шаблонами связи (частая смена задач, гетерогенные модели, эластичный вывод) никогда не удерживают каналы достаточно долго, чтобы их амортизировать.
• Мультитенантные фабрики не могут обещать карту каналов тенантам, которые приходят и уходят ежечасно.
• Команды без планировщиков задач, осведомлённых о топологии, не получают от каналов ничего; выигрыш требует ПО, способного использовать стабильную карту.

Реалистичный путь внедрения — постепенный: сохранить электрический spine, добавить OCS для одного конкретного шаблона коллективов (обычно самого широкого яруса all-reduce), измерить и расширяться только если эксплуатационный механизм — проверка путей, версионирование топологии, интеграция планировщика — реально сработал с первого раза. Кластеры, которые пропускают подготовительную эксплуатационную работу и покупают коммутатор первым, с надёжностью обнаруживают, что оптика никогда и не была трудной частью.

Источники

• Jouppi et al., "TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning" (arXiv) — опубликованное крупномасштабное развёртывание OCS в промышленной ML-системе, включая обоснование производительности и доступности.
• Ethernet Alliance — демонстрации нескольких вендоров, охватывающие дорожные карты коммутационной и оптической технологий, релевантные выбору конструкции фабрики.
• OIF — работа по интероперабельности когерентных и короткодальних семейств интерфейсов, используемых в фабриках кластеров.
• IEEE 802.3df Task Force — базис PMD 800G, на котором строятся электрические ярусы в гибридных конструкциях.

Реализации OCS сильно различаются по коммутационной технологии, числу портов и характеристикам потерь. Приведённые здесь цифры — ориентировочное руководство для планирования; проверяйте их против конкретного коммутатора и модели топологии до утверждения конструкции.

FAQ

Заменяет ли оптическая коммутация каналов пакетные коммутаторы в кластерах ИИ?

Не в нынешних конструкциях. OCS накладывается рядом с электрической пакетной коммутацией: он берёт на себя долгоживущие предсказуемые пути коллективной связи, а электрические коммутаторы сохраняют пульсирующий трафик и изменения топологии. Гибридный шаблон — это то, что реально используют промышленные развёртывания.

Сколько времени занимает реконфигурация OCS?

На порядки медленнее, чем схождение пакетного коммутатора. Реконфигурация канала идёт от секунд до минут в зависимости от технологии коммутатора и шагов верификации вокруг неё. Такая задержка приемлема для изменений топологии на уровне задачи и неприемлема для решений по каждому потоку.

Почему рабочие нагрузки ИИ вообще подходят под каналы?

Коллективная связь при обучении — all-reduce, all-to-all между фиксированными группами процессов — порождает трафик между одними и теми же наборами конечных точек всё время жизни задачи. Когда карта трафика стабильна днями, выделение постоянных путей перестаёт быть накладными и становится эффективностью.

Что OCS делает с перечнем оптических компонентов (BOM)?

Он меняет часть коммутирующей оптики на путевую. Каналы проходят сквозь OCS, поэтому волокна и разъёмы умножаются, и бюджет вносимых потерь каждого пути теперь включает элемент коммутатора. Ждите больше волоконной инфраструктуры и более строгую гигиену разъёмов, а не меньше трансиверов в целом.

Актуален ли OCS ниже масштаба ИИ?

Как правило, нет. Ниже масштаба, где есть стабильность топологии на уровне задачи, задержка реконфигурации и стоимость на путь перевешивают экономию энергии и задержки. Экономика работает только когда фабрика обслуживает крупные долгоработающие осведомлённые о топологии задачи.