СКС для ЦОДов

Стремительный рост объема генерируемых данных продолжается, и основную нагрузку по их приему, обработке и хранению несут ЦОДы. У самих дата-центров «кровеносной системой», по которой передаются гигантские объемы данных, является СКС. Она должна быть не только высокопроизводительной «в моменте», но и обеспечивать в будущем переход на все более высокие скорости, которые способно поддерживать активное сетевое оборудование.

 

 

На магистралях современных ЦОДов типичными уже стали скорости 200 и 400 Гбит/с, а гиперскейлеры строят сети с перспективой поддержки 800 Гбит/с. Понятно, что такие скорости может обеспечить только оптоволокно. «Медь» остается, но лишь как инфраструктурное решение для мониторинга и обслуживающих систем.

 

Существуют два основных способа повышения производительности оптической сети. Первый – параллельная передача трафика по нескольким волокнам, или параллельная оптика. Сегодня это основной, наиболее распространенный способ. В качестве «рабочей лошадки» в ЦОДах (на расстояниях до 150 м) выступает многомодовое волокно класса ОМ4. В базовом варианте одна пара ОМ4 передает поток 10G – это проверенные годами, надежные технические решения. Объединением восьми таких волокон получаем канал 40 Гбит/с, а 20 – 100 Гбит/c. Также практикуют передачу по одному волокну потоков 25G и 50G – из них можно «собрать» каналы 100, 200 и 400 Гбит/c.

 

Второй способ – спектральное уплотнение (WDM), или передача по одному волокну нескольких потоков на разных длинах волн. В случае многомода для реализации WDM требуется более дорогое волокно класса OM5, а также более сложное и капризное оборудование. Если еще учесть ограничение доступа российских заказчиков к высоким технологиям, то становится понятно, почему этот вариант пока не получил распространения.

 

Увеличение числа волокон при использовании параллельной оптики в настоящее время не требует каких-либо существенных технологических пространств. На рынке представлены очень компактные кабели, например, в современный 3-мм ленточный кабель умещается 12 волокон. Большую нагрузку на кабельные лотки такие кабели не создают – раньше, когда волокна шли отдельными парами, места требовалось больше, не говоря уже о тоннах громоздкой меди.

 

Для подключения серверов, как и для формирования магистрали, сегодня также используют оптику. Активные кабели, одно время очень популярные, уходят в прошлое. Скорости быстро растут, трансиверы устаревают, такие кабели приходится часто менять, поэтому заказчики от них отказываются. Для гиперскейлеров и коммерческих ЦОДов 10 Гбит/c на сервер обычно достаточно, в высоконагруженных корпоративных и облачных ЦОДах могут использоваться 40- и даже 100-Гбит/c подключения серверов.

 

DATALAN на рынке СКС   О ситуации и объеме рынка СКС   После ухода основных западных вендоров освободившиеся ниши пытаются занять многие российские производители. А времени для этого не слишком много, поскольку, считаю, через два-три года зарубежные компании вернутся. Надо успеть окрепнуть и захватить рынок.   По нашим подсчетам, объем рынка оптических СКС составляет около 200 тыс. коннекторов в месяц. Столько потребляют все заказчики, включая ЦОДы. Мы рассчитываем нарастить наши производственные мощности до уровня 20–30 тыс. коннекторов в месяц, т.е. речь идет о 10–15% рынка оптических СКС.   Об СКС-решениях DATALAN   Мы примерно на 85–90% обеспечиваем функционал, который предлагали западные вендоры, причем по ряду показателей наши решения лучше. Оставшиеся 10–15% – это оптические шкафы высокой плотности. Западные изделия при глубине 200–300 мм поддерживают до 20 тыс. портов. Наши шкафы пока имеют более скромные показатели, но уже в этом году планируем выпустить новое решение, которое будет иметь те же характеристики, что и лучшие зарубежные продукты.   DATALAN использует комплектующие ведущих мировых производителей и лучших заводов в РФ. Так, вся кабельная продукция, кроме ленточных оптических кабелей, производится в России по нашим техническим заданиям. Все коннекторы – импортные. Оптические коннекторы в основном от компании Senko, но используем продукцию и других производителей. Сейчас расширяем собственную площадку по производству медных и оптических сборок.   У нас небольшая команда, мы быстро реагируем на спе­цифические требования заказчиков. Даже если продукт нужно сильно доработать, на это уйдет не более трех месяцев. А, скажем, просто заменить коннекторы MPO-8 на MPO-12 сможем за несколько дней.   О важных особенностях   Мы исторически все делаем из металла (панели, организаторы и пр.), направляющие – на подшипниках. Это проще и надежнее, заказчикам нравится. Пластик, на который перешли почти все другие производители, конечно, легче, но он ненадежен – со временем крошится и ломается.    Еще одно принципиальное отличие от других российских производителей заключается в том, что каждый кабель мы снабжаем сертификатом проверки с указанием реально измеренных характеристик. Для ЦОДов это важно. Есть в нашей продукции и масса приятных мелочей. Например, на панели высокой плотности можно на одном лезвии комбинировать кассеты MPO-8 и MPO-12, это мало кто умеет. Кассеты у нас выдвигают как вперед, так и назад, что удобно при эксплуатации.   Борис Грановский, руководитель направления ЦОД ООО «СКС» (Группа компаний НКТ)

 

 

Архитектура сетевых инфраструктур ЦОДов развивается по пути упрощения. Проще – значит, надежнее. Оставляют основные узлы и убирают все промежуточное, все, что можно убрать. Поэтому все реже реализуется концепция ToR (Top of the Rack), т.е. размещение коммутаторов в каждой стойке. Например, гиперскейлер получает полностью подготовленную (претерминированную) стойку с серверами. В плане сетевого оборудования она полностью пассивная. В ней имеется только коммутационная панель, от которой по многомодовой оптике идет подключение к центру коммутации. 

 

От серверных стоек до центра коммутации в машзале обычно не более 100–120 м. На таком расстоянии отлично работает многомодовая оптика ОМ4. Далее уже магистральная линия, здесь расстояния больше. Поэтому в крупных ЦОДах на магистрали прокладывают одномодовую оптику.

 

Технологическое пространство в ЦОДах – ресурс дорогостоящий, и для СКС выделяют минимум места и применяют практически только высокоплотные решения. Средняя плотность составляет 72 дуплексных LC-коннектора (144 волокна) на 1U. При использовании групповых разъемов, например популярных MPO-12, плотность увеличивается в шесть раз. А если взять MPO-24, то в 12 раз, т.е. 1728 волокон на 1U!

 

Именно групповые соединители MTP/MPO сегодня наиболее популярны в ЦОДах. Но у них есть один серьезный недостаток – высокие потери на соединениях. Для их снижения применяют коннекторы с высококачественными ферулами Low Loss, а это увеличивает стоимость коннекторов и усложняет обслуживание. Перспективными выглядят новые коннекторы CS/SN. Принцип физического контакта в коннекторах CS/SN обеспечивает меньшие потери, чем в MTP/MPO-коннекторах, компактный формфактор позволяет в несколько раз увеличить плотность инсталляции по сравнению с традиционными LC: вместо одного дуплексного коннектора LC можно установить три дуплексных SN. Более того, четыре дуплексных SN-коннектора можно соединить в единый блок, т.е. получить соединитель на восемь волокон. Однако пока техника CS/SN не получила массового распространения.

 

Преимущества СКС DATALAN для ИТ-инфраструктуры зданий и ЦОДов Возможность гибкого конфигурирования в соответствии с поставленными задачами Высокая степень локализации производства кабельной продукции в РФ Соответствие стандартам ISO/IEC 11801, сертификация РФ, ТР ТС 004, ISO Собственное производство: оптические сборки и патч-корды, включая MPO, радиочастотные сборки, производство сертифицировано Huber+Suhner Системная гарантия 25 лет

 

 

Простые и понятные процедуры эксплуатации с защитой от ошибок, связанных с человеческим фактором, – важное условие надежной работы любой технической системы, включая СКС. В современных условиях также повышается значимость оперативного выполнения различных процедур. Это и сокращение времени монтажа, и возможность быстрого внесения изменений в инфраструктуру. Для этого необходима типизация (стандартизация) решений – изобретать различные варианты подключения для каждой стойки не стоит. 

 

Существенно сократить время монтажа и внесения изменений помогают претерминированные кабельные сборки, которые в основном и используются в ЦОДах. Применение таких сборок также позволяет гарантировать качество соединений. Сегодня уже почти никто не терминирует и не сваривает оптику на площадке – на производстве это сделать проще, причем качество будет выше, а характеристики более повторяемыми. Определенный запас претерминированных сборок на объекте позволит минимизировать время восстановления.

 

Для надежного функционирования инфраструктуры важно постоянно отслеживать состояние кабельных соединений. Для этого еще на этапе проектирования надо создать, а потом тщательно вести кабельный журнал. Как показывает опыт, в большинстве случаев специалисты продолжают использовать «старые добрые» таблички Excel. Это простой и достаточно удобный инструмент. Конечно, есть электронные кабельные журналы, есть интеллектуальные системы, позволяющие автоматически фиксировать все отключения/подключения. Но их применение серьезно удорожает проект и далеко не везде оправдано. Скажем, гиперскейлерам, у которых за все время эксплуатации в серверной стойке почти ничего не меняется, такие интеллектуальные СКС точно не нужны.