Оптика для ИИ-кластеров: оптимизация по рельсам и пределы CPO

GPU-кластеры масштабируются не так, как веб-уровни. Фабрика, их соединяющая, отказывает иначе, бюджетируется иначе и покупается иначе.

Оптика ИИ-датацентров · Опубликовано 2026-10-24 · Обновлено 2026-10-26 · 7 мин чтения

В обучающей стойке на 1024 GPU примерно две тысячи оптических модулей. При полевой скорости отказов в несколько процентов в год это десятки замен модулей ежегодно, и каждая замена — событие линка, способное остановить синхронную задачу обучения. Это факт, переформатирующий оптический интерконнект в ИИ-кластерах: вопрос не в том, достаточно ли быстра оптика, а в том, может ли фабрика поглотить скорость отказов, приходящую с числом модулей.

Это иная проектная задача, чем у фронтенд-сети ЦОД, где дёргающийся линк поглощается маршрутизацией и никем не замечается. Это также причина, почему операторы ИИ заботятся о счётчиках исправленных codeword и температурах корпуса так, как на команде веб-масштаба выглядело бы навязчивым.

Почему трафик ИИ ведёт себя не как трафик ЦОД

Три свойства коллективной коммуникации управляют каждым последующим решением.

Эффект отстающего, и почему важны запасы FEC

В синхронном all-reduce каждый ранг ждёт самого медленного. Линк, работающий на пред-FEC BER 1e-7 с тяжёлой FEC-коррекцией, всё ещё выдаёт корректные данные, но его эффективная задержка джиттерит по мере роста нагрузки коррекции. В коллективе на 512 рангов вероятность, что хотя бы один линк попадёт в плохую минуту, стремится к единице.

Это механическая причина, по которой ИИ-фабрики специфицируются с бóльшим оптическим запасом, чем требует стандарт. 2 дБ запаса мощности, которые фронтенд-сеть назвала бы щедрыми, в ИИ-стойке — примерно разница между задачей, которая завершается, и задачей, которая висит на 90%.

Топология: что даёт и что стоит rail-оптимизация

Классический spine-leaf соединяет любой GPU с любым другим за два хопа. Rail-оптимизированный соединяет индекс GPU n по всем серверам с rail-коммутатором n, так что ранги, участвующие в коллективе, обычно сидят в одном хопе.

Spine-leaf:        GPU server -- leaf -- spine -- leaf -- GPU server
Rail-optimised:    GPU0 всех серверов -- группа коммутаторов rail-0
                   GPU1 всех серверов -- группа коммутаторов rail-1

Преимущество — задержка и число хопов для трафика, который реально доминирует. Цены реальны и стоят упоминания.

Сложность разводки растёт с числом рельсов. Восемь рельсов на сервер значат восемь параллельных плоскостей фабрики, каждая со своей дисциплиной кабелей, своей конвенцией полярности и своим доменом отказов. Разбор полярности MPO становится обязательным чтением для кабельной бригады, а не справочным документом.

Домены отказов становятся уже и многочисленнее. Один упавший рельс деградирует конкретный набор коллективов, а не всю фабрику. Это лучше для частичной доступности и хуже для диагностики, потому что симптом выглядит как проблема ПО.

Оптика на GPU растёт. Каждый порт GPU — это модуль. Rail-оптимизация не создаёт порты, но убирает oversubscription, который иначе позволил бы ими делиться, поэтому rail-оптимизированные стойки садятся примерно на 1:1.

Oversubscription: где 1:1 реально требуется

Плотные обучающие стойки нуждаются в неблокирующих или почти неблокирующих фабриках, потому что коллективы синхронизированы по полосе. Инференс и дообучение терпят 2:1 или 3:1, потому что их трафик менее симметричен.

Оптическое следствие прямое: стойка 3:1 использует треть оптики в oversubscribed-слое. Выбор соотношения поэтому — решение бюджета оптики не меньше, чем решение производительности сети, и должен приниматься с числом модулей на столе. Руководство по выбору 800G описывает, во что эти модули обходятся в питании и охлаждении, когда число зафиксировано.

Медийная лестница, с цифрами, её решающими

Правило 3 метров и его исключения

До 3 м DAC почти всегда прав: ноль мощности, нечего ломаться, нечего мониторить. Между 3 и 5 м AEC выигрывает по мощности, но вводит новый режим отказа — redriver. Выше 5 м решение — между LPO и обычными pluggable.

Исключение, стоящее знания: стойка, ограниченная по питанию раньше, чем по дальности, заплатит премию за LPO даже на расстояниях, где сработал бы DAC, потому что ограничение — не кабель, а PDU. Стойки с лимитом питания делают странные, но рациональные выборы.

LPO — системное решение, а не модульное

Линейная pluggable-оптика убирает DSP и отдаёт задачу эквалайзера хост-SerDes. Мощность модуля примерно уменьшается вдвое, вот в чём вся привлекательность. Цена — что линк теперь зависит от того, есть ли у хост-SerDes достаточный диапазон эквалайзера для конкретного канала, и от того, валидировал ли вендор коммутатора эту комбинацию.

Вот почему внедрение LPO выглядит неравномерным: оно хорошо работает там, где хост и канал известны и валидированы вместе, и плохо там, где модули закупаются независимо от коммутатора. Если ваш процесс закупки treats optics как товар, покупаемый отдельно от коммутаторов, LPO вас разочарует.

Реальное ограничение CPO — ремонтопригодность, а не мощность

Co-packaged оптика даёт лучший энергопотребление на бит, убирая интерфейс pluggable целиком. Опубликованные полевые данные по надёжности ранних развёртываний CPO действительно обнадёживают по стороне скорости отказов, потому что удаление разъёмов и полевого обращения убирает большую долю режимов отказа.

Остающееся ограничение — операционное: когда порт CPO отказывает, вы заменяете коммутатор, а не модуль. Для стойки с двумя тысячами модулей недостаток модели pluggable — то, что модули отказывают; её преимущество — то, что техник с запасным чинит это за четыре минуты. Перевешивает ли выигрыш надёжности CPO его гранулярность ремонта, зависит от вашей модели запасных и окна обслуживания, и данными пока не устаканено.

Тепловая реальность на 800G, в ваттах

64-портовое шасси 800G при 16 Вт на модуль несёт около 1 кВт тепла оптики, приходящего на переднюю панель, где поток воздуха слабее всего. Это не деталь, которую решает инженерная команда после заморозки дизайна; она ограничивает, какой форм-фактор вы можете использовать. В сравнении форм-факторов разобрано, зачем вообще существует лишний объём OSFP.

Два практических следствия конкретно для ИИ-стоек:

Плотность стоек и мощность оптики торгуются друг против друга. Удвоение плотности GPU удваивает тепло оптики в той же площади, и система охлаждения, адекватная при половинной плотности, неадекватна при полной. Моделируйте это до фиксации раскладки стоек.

Трассировка кейдж-кейдж — статья оптического бюджета. Заводские оконцованные сборки MPO против полевых пигтейлов различаются до 0,5 дБ вносимых потерь. В бюджете класса DR на 1,9 дБ это четверть допуска, потраченная на решение разводки, которое обычно принимает тот, кто первым ответил на звонок. В разборе бюджета линка есть арифметика.

Спецификация 800G-стойки в 2026 году

1. Форм-фактор: следуйте родному кейджу вендора коммутатора. OSFP там, где жёсткое ограничение — тепловой запас, QSFP-DD800 там, где плотность портов.
2. PMD: DR8 для новой структурированной кабельной системы MPO, 2xFR4 для существующих дуплексных хозяйств, VR8-класса или LPO только для того же стеллажа при валидированной паре с хостом.
3. Управление: CMIS 4.0 или новее, чтобы диагностика, классы мощности и отображение линий были скриптуемы с первого дня.
4. Телеметрия: заведите счётчики исправленных codeword и пред-FEC BER в планировщик кластера. Относитесь к деградирующему линку как к событию обслуживания, а не как к шуму, потому что в синхронном коллективе это будущий простой.
5. Запас: зарезервируйте ёмкость кейджа и охлаждения под оптику 200G на линию, даже если сегодня покупаете кремний 100G на линию. Анализ дорожной карты 1.6T объясняет, чего этот запас на самом деле стоит и где он спекулятивен.
6. Запасные: размер пула запасных против числа модулей, а не числа коммутаторов. Стойке с 2000 модулей нужен пул запасных, рассчитанный на отказы модулей, и пул должен быть одного семейства SKU, чтобы базовые линии диагностики оставались сопоставимыми.

Источники

• IEEE 802.3df - the 800G PMD definitions (SR8, DR8, 2FR4, 2LR4) behind the media table.
• IEEE P802.3dj - 200G-per-lane work referenced in the headroom recommendation.
• OSFP MSA - thermal and mechanical envelope for the 800G OSFP modules discussed.
• QSFP-DD MSA - QSFP-DD800 thermal extensions and CMIS management interface.
• OIF - CEI electrical interfaces and the coherent projects that define DCI boundaries.
• Ethernet Alliance - multi-vendor interoperability demonstrations for 800G optics and LPO.

Числа модулей и мощности — планировочные оценки для оборудования 2026 года. Уровень оптики на стойку варьируется с топологией, oversubscription и дизайном хранилища; выведите их для своей фабрики, а не берите правило большого пальца.

FAQ

Почему ИИ-кластеры предпочитают rail-оптимизированные топологии?

Трафик коллективной коммуникации зависит от ранга. Rail-оптимизация помещает один и тот же индекс GPU по серверам на один коммутатор, позволяя большей части трафика завершаться за один хоп и снижая хвостовую задержку, останавливающую синхронные шаги обучения.

Остаётся ли DAC жизнеспособным на 800G внутри стойки?

Едва. Дальность пассивного 800G DAC — примерно 1-2 м из-за затухания PAM4; AEC расширяют её до примерно 3-5 м активными redriver. Дальше доминирует оптика. Питание — плата: 12-16 Вт на оптический модуль против 4-8 Вт у 800G AEC.

В чём практическая разница между LPO и CPO сегодня?

LPO убирает DSP из модуля, уменьшая мощность модуля вдвое, но требует от хост-SerDes компенсации потерь канала, что делает его чувствительным к качеству хоста и канала. CPO переносит оптику на корпус коммутатора: лучшая энергоэффективность, но оптика перестаёт быть полевозаменяемой.

Сколько оптики реально нужно 800G GPU-стойке?

В неблокирующей rail-оптимизированной стойке с одним 800G-портом на GPU число оптики — примерно один модуль на GPU для фабрики плюс один на GPU-эквивалент для хранилища и управления, поэтому стойка на 1024 GPU выходит на ближе 2000-2500 модулей до запасных. Именно это число, а не число коммутаторов, диктует бюджет запасных и скорости отказов.