Top of Rack vs End of Row коммутаторы для сети ЦОДов
Когда нужно подключить много серверов (например, в дата центре), сеть должна быть достаточно гибкой, чтобы поддерживать вычислительную мощность, необходимую для крупных установок. В таких обстоятельствах используются две популярные схемы сети — TOR (Top of Rack) и EOR (End of Row). Давайте рассмотрим преимущества и недостатки обоих подходов и разница между top-of-rack и end-of-row коммутаторы в этой статье.
Что такое Top of Rack (TOR)?
Top-of-rack — это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с коммутатором ядра или с агрегирующим слоем (в зависимости от количества уровней). Хотя и устоялось название top-of-rack — не утверждается, что именно в верхней части стойки должен физически располагаться коммутатор. Говорят, что изначально это было так, потому что админы предпочитали сначала воткнуть все кабели в коммутатор, чтобы потом больше к нему не прикасаться. И тогда, если коммутатор вверху, кабели удобно свешиваются вниз и облегчают подключение.
Преимущества Top of Rack (TOR)
-
Медь остается “в стойке“. Нет необходимости в крупной медной кабельной инфраструктуре.
-
Меньшие затраты на проводку кабелей. Меньше инфраструктуры, предназначенной для прокладки кабелей и исправлений. Более чистое управление кабелями.
-
Модульная и гибкая архитектура “на стойку“. Простые обновления/изменения ” на стойку”.
-
Перспективная оптоволоконная инфраструктура, поддерживающая переход на 40G и 100G.
-
Короткая медная кабельная система к серверам позволяют использовать маломощные и недорогие 1oGE (10GBASE-CX1), 40G в будущем.
-
Готовы к Unified Fabric уже сегодня.
Недостатки Top of Rack (TOR)
-
Больше коммутаторов для управления. В агрегации требуется больше портов.
-
Возможные проблемы с масштабируемостью (логические порты STP, плотность коммутации агрегации).
-
Больше трафика server-server уровня 2 в агрегации.
-
Стойки подключены на уровне 2. Больше экземпляров STP для управления.
-
Уникальная плоскость управления на 48 портов (на коммутатор), для замены коммутатора требуется более высокий набор навыков.
Варианты развертывания TOR
При развертывании дата-центра с высокой плотностью, коммутаторы размещаются в каждой стойке и в большинстве случаев подключаются к вычислительному устройству, например серверу без ПО, используемому только одним арендатором, или корпусу блейд-сервера. Каждый коммутатор в стойке, в свою очередь, подключается к блоку коммутаторов агрегации с помощью оптоволокна. Соединения внутри стойки могут быть любой комбинацией меди, оптоволокна или СКС прямого доступа.
Помимо других возможностей, коммутаторы ToR выполняют операции, в том числе пересылку кадров и пакетов Layer 2 и Layer 3, мостовое соединение дата-центра и транспортировку Fibre Channel через Ethernet для стоек серверов, подключенных к ним.
Что такое End of Row (EOR)?
Модель коммутации end-of-row предполагает расположение коммутатора, условно, ''в конце ряда стоек'' и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд. Опять же физически это не значит, что коммутатор должен быть почему-то именно в последней стойке. Такое расположение было принято для дублирующих коммутаторов, которые изначально действительно располагали в разных концах ряда стоек, чтобы например какая-то внезапная проблема типа протекшей крыши в одном месте, не вырубила из работы целый ряд стоек.
В такой схеме серверы в стойке обычно соединяются относительно короткими RJ-45 кабелями с коммутационной панелью в стойке, от которой идет плотный пучок кабелей, как правило через верх, над серверными стойками, к end-of-row коммутатору.
End-of-row коммутатор, это как правило решение на базе модульного шасси, которое поддерживает сотни серверных подключений. Таким образом, если в случае с top-of-rack решением, каждая стойка была как будто отдельным модулем, то в данном случае целый ряд стоек условно можно считать за отдельный модуль.
Преимущества End of Row (EOR)
-
Меньше коммутаторов для управления. Потенциально более низкие затраты на коммутатор, более низкие затраты на обслуживание.
-
Для агрегации требуется меньше портов.
-
Стойки, подключенные на уровне 1. Меньше экземпляров STP для управления (на строку, а не на стойку).
-
Более длительный срок службы, высокая доступность, модульная платформа для доступа к серверу.
-
Уникальная плоскость управления на сотни портов (на модульный коммутатор), для замены 48-портовой линейной карты требуется меньше навыков по сравнению с заменой коммутатора 48 портов.
Недостатки End of Row (EOR)
-
Требуется дорогая, громоздкая, жесткая медная кабельная инфраструктура. Чревато проблемами управления кабелем.
-
Для управления патч-кордами и кабелями требуется дополнительная инфраструктура.
-
Длинная медная кабельная система с витой парой ограничивает использование серверов ввода-вывода с меньшим энергопотреблением и более высокой скоростью.
-
Стоящие перед нами задачи — это больше, чем просто доказательство будущего.
-
Менее гибкая архитектура “на строку“. Обновления/изменения платформы влияют на весь ряд.
-
Unified Fabric не существовало до конца 2010 года.
Top-of-rack vs end-of-row коммутаторы
Top of rack (Вершина стойки). В данной модели, коммутаторы обрабатывают трафик от серверов в одной стойке. Эти коммутаторы предпочтительнее выбирать в 1RU форм-факторе, с целью занимать как можно меньше места, которое в стойке предназначено в основном для серверного оборудования. Соответственно все сервера стойки включаются в Top of rack коммутатор, что упрощает и удешевляет схему каблирования дата-центра. Включение серверов по модели Top of rack также упрощают схему сети коммутации, минимизируя переподписку и поддерживая port-to-port коммутацию для приложений, взаимодействующих в серверах одной стойки. Надстоечные коммутаторы, uplink-каналами подключаются напрямую к коммутатору ядра дата-центра в двух-уровневой схеме построения или к агрегирующему коммутатору в трех-уровневой схеме.
End of row (Конец ряда) коммутаторы обрабатывают трафик от серверов и систем хранения данных, размещенных в нескольких стойках и помещаются в стойки отдельно от серверов, вместе с остальным коммутационным оборудованием, что существенно резко усложняет схему каблирования. Это обычно высокопроизводительные коммутаторы, имеющие высокую плотность портов, поддерживающие широкий диапазон WEB-серверов и устройств хранения данных с ряда стоек. End of row коммутаторы должны иметь неблокируемую архитектуру и запас портов для органицации высокопроизводительного агрегированного uplink-канала с коммутатором ядра.