Top of Rack vs End of Row коммутаторы для сети ЦОДов

Когда нужно подключить много серверов (например, в дата центре), сеть должна быть достаточно гибкой, чтобы поддерживать вычислительную мощность, необходимую для крупных установок. В таких обстоятельствах используются две популярные схемы сети — TOR (Top of Rack) и EOR (End of Row). Давайте рассмотрим преимущества и недостатки обоих подходов и разница между top-of-rack и end-of-row коммутаторы в этой статье.

Что такое Top of Rack (TOR)?

Top-of-rack — это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с коммутатором ядра или с агрегирующим слоем (в зависимости от количества уровней). Хотя и устоялось название top-of-rack — не утверждается, что именно в верхней части стойки должен физически располагаться коммутатор. Говорят, что изначально это было так, потому что админы предпочитали сначала воткнуть все кабели в коммутатор, чтобы потом больше к нему не прикасаться. И тогда, если коммутатор вверху, кабели удобно свешиваются вниз и облегчают подключение.

Преимущества Top of Rack (TOR)

• Медь остается “в стойке“. Нет необходимости в крупной медной кабельной инфраструктуре.

• Меньшие затраты на проводку кабелей. Меньше инфраструктуры, предназначенной для прокладки кабелей и исправлений. Более чистое управление кабелями.

• Модульная и гибкая архитектура “на стойку“. Простые обновления/изменения ” на стойку”.

• Перспективная оптоволоконная инфраструктура, поддерживающая переход на 40G и 100G.

• Короткая медная кабельная система к серверам позволяют использовать маломощные и недорогие 1oGE (10GBASE-CX1), 40G в будущем.

• Готовы к Unified Fabric уже сегодня.

Недостатки Top of Rack (TOR)

• Больше коммутаторов для управления. В агрегации требуется больше портов.

• Возможные проблемы с масштабируемостью (логические порты STP, плотность коммутации агрегации).

• Больше трафика server-server уровня 2 в агрегации.

• Стойки подключены на уровне 2. Больше экземпляров STP для управления.

• Уникальная плоскость управления на 48 портов (на коммутатор), для замены коммутатора требуется более высокий набор навыков.

Варианты развертывания TOR

При развертывании дата-центра с высокой плотностью, коммутаторы размещаются в каждой стойке и в большинстве случаев подключаются к вычислительному устройству, например серверу без ПО, используемому только одним арендатором, или корпусу блейд-сервера. Каждый коммутатор в стойке, в свою очередь, подключается к блоку коммутаторов агрегации с помощью оптоволокна. Соединения внутри стойки могут быть любой комбинацией меди, оптоволокна или СКС прямого доступа.

Помимо других возможностей, коммутаторы ToR выполняют операции, в том числе пересылку кадров и пакетов Layer 2 и Layer 3, мостовое соединение дата-центра и транспортировку Fibre Channel через Ethernet для стоек серверов, подключенных к ним.

Что такое End of Row (EOR)?

Модель коммутации end-of-row предполагает расположение коммутатора, условно, ''в конце ряда стоек'' и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд. Опять же физически это не значит, что коммутатор должен быть почему-то именно в последней стойке. Такое расположение было принято для дублирующих коммутаторов, которые изначально действительно располагали в разных концах ряда стоек, чтобы например какая-то внезапная проблема типа протекшей крыши в одном месте, не вырубила из работы целый ряд стоек.

В такой схеме серверы в стойке обычно соединяются относительно короткими RJ-45 кабелями с коммутационной панелью в стойке, от которой идет плотный пучок кабелей, как правило через верх, над серверными стойками, к end-of-row коммутатору.

End-of-row коммутатор, это как правило решение на базе модульного шасси, которое поддерживает сотни серверных подключений. Таким образом, если в случае с top-of-rack решением, каждая стойка была как будто отдельным модулем, то в данном случае целый ряд стоек условно можно считать за отдельный модуль.

Преимущества End of Row (EOR)

• Меньше коммутаторов для управления. Потенциально более низкие затраты на коммутатор, более низкие затраты на обслуживание.

• Для агрегации требуется меньше портов.

• Стойки, подключенные на уровне 1. Меньше экземпляров STP для управления (на строку, а не на стойку).

• Более длительный срок службы, высокая доступность, модульная платформа для доступа к серверу.

• Уникальная плоскость управления на сотни портов (на модульный коммутатор), для замены 48-портовой линейной карты требуется меньше навыков по сравнению с заменой коммутатора 48 портов.

Недостатки End of Row (EOR)

• Требуется дорогая, громоздкая, жесткая медная кабельная инфраструктура. Чревато проблемами управления кабелем.

• Для управления патч-кордами и кабелями требуется дополнительная инфраструктура.

• Длинная медная кабельная система с витой парой ограничивает использование серверов ввода-вывода с меньшим энергопотреблением и более высокой скоростью.

• Стоящие перед нами задачи — это больше, чем просто доказательство будущего.

• Менее гибкая архитектура “на строку“. Обновления/изменения платформы влияют на весь ряд.

• Unified Fabric не существовало до конца 2010 года.

Top-of-rack vs end-of-row коммутаторы

Top of rack (Вершина стойки). В данной модели, коммутаторы обрабатывают трафик от серверов в одной стойке. Эти коммутаторы предпочтительнее выбирать в 1RU форм-факторе, с целью занимать как можно меньше места, которое в стойке предназначено в основном для серверного оборудования. Соответственно все сервера стойки включаются в Top of rack коммутатор, что упрощает и удешевляет схему каблирования дата-центра. Включение серверов по модели Top of rack также упрощают схему сети коммутации, минимизируя переподписку и поддерживая port-to-port коммутацию для приложений, взаимодействующих в серверах одной стойки. Надстоечные коммутаторы, uplink-каналами подключаются напрямую к коммутатору ядра дата-центра в двух-уровневой схеме построения или к агрегирующему коммутатору в трех-уровневой схеме.

End of row (Конец ряда) коммутаторы обрабатывают трафик от серверов и систем хранения данных, размещенных в нескольких стойках и помещаются в стойки отдельно от серверов, вместе с остальным коммутационным оборудованием, что существенно резко усложняет схему каблирования. Это обычно высокопроизводительные коммутаторы, имеющие высокую плотность портов, поддерживающие широкий диапазон WEB-серверов и устройств хранения данных с ряда стоек. End of row коммутаторы должны иметь неблокируемую архитектуру и запас портов для органицации высокопроизводительного агрегированного uplink-канала с коммутатором ядра.