Когда нужно подключить много серверов (например, в дата центре), сеть должна быть достаточно гибкой, чтобы поддерживать вычислительную мощность, необходимую для крупных установок. В таких обстоятельствах используются две популярные схемы сети — TOR (Top of Rack) и EOR (End of Row). Давайте рассмотрим преимущества и недостатки обоих подходов и разница между top-of-rack и end-of-row коммутаторы в этой статье.
Top-of-rack — это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с коммутатором ядра или с агрегирующим слоем (в зависимости от количества уровней). Хотя и устоялось название top-of-rack — не утверждается, что именно в верхней части стойки должен физически располагаться коммутатор. Говорят, что изначально это было так, потому что админы предпочитали сначала воткнуть все кабели в коммутатор, чтобы потом больше к нему не прикасаться. И тогда, если коммутатор вверху, кабели удобно свешиваются вниз и облегчают подключение.
Медь остается “в стойке“. Нет необходимости в крупной медной кабельной инфраструктуре.
Меньшие затраты на проводку кабелей. Меньше инфраструктуры, предназначенной для прокладки кабелей и исправлений. Более чистое управление кабелями.
Модульная и гибкая архитектура “на стойку“. Простые обновления/изменения ” на стойку”.
Перспективная оптоволоконная инфраструктура, поддерживающая переход на 40G и 100G.
Короткая медная кабельная система к серверам позволяют использовать маломощные и недорогие 1oGE (10GBASE-CX1), 40G в будущем.
Готовы к Unified Fabric уже сегодня.
Больше коммутаторов для управления. В агрегации требуется больше портов.
Возможные проблемы с масштабируемостью (логические порты STP, плотность коммутации агрегации).
Больше трафика server-server уровня 2 в агрегации.
Стойки подключены на уровне 2. Больше экземпляров STP для управления.
Уникальная плоскость управления на 48 портов (на коммутатор), для замены коммутатора требуется более высокий набор навыков.
При развертывании дата-центра с высокой плотностью, коммутаторы размещаются в каждой стойке и в большинстве случаев подключаются к вычислительному устройству, например серверу без ПО, используемому только одним арендатором, или корпусу блейд-сервера. Каждый коммутатор в стойке, в свою очередь, подключается к блоку коммутаторов агрегации с помощью оптоволокна. Соединения внутри стойки могут быть любой комбинацией меди, оптоволокна или СКС прямого доступа.
Помимо других возможностей, коммутаторы ToR выполняют операции, в том числе пересылку кадров и пакетов Layer 2 и Layer 3, мостовое соединение дата-центра и транспортировку Fibre Channel через Ethernet для стоек серверов, подключенных к ним.
Модель коммутации end-of-row предполагает расположение коммутатора, условно, ''в конце ряда стоек'' и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд. Опять же физически это не значит, что коммутатор должен быть почему-то именно в последней стойке. Такое расположение было принято для дублирующих коммутаторов, которые изначально действительно располагали в разных концах ряда стоек, чтобы например какая-то внезапная проблема типа протекшей крыши в одном месте, не вырубила из работы целый ряд стоек.
В такой схеме серверы в стойке обычно соединяются относительно короткими RJ-45 кабелями с коммутационной панелью в стойке, от которой идет плотный пучок кабелей, как правило через верх, над серверными стойками, к end-of-row коммутатору.
End-of-row коммутатор, это как правило решение на базе модульного шасси, которое поддерживает сотни серверных подключений. Таким образом, если в случае с top-of-rack решением, каждая стойка была как будто отдельным модулем, то в данном случае целый ряд стоек условно можно считать за отдельный модуль.
Меньше коммутаторов для управления. Потенциально более низкие затраты на коммутатор, более низкие затраты на обслуживание.
Для агрегации требуется меньше портов.
Стойки, подключенные на уровне 1. Меньше экземпляров STP для управления (на строку, а не на стойку).
Более длительный срок службы, высокая доступность, модульная платформа для доступа к серверу.
Уникальная плоскость управления на сотни портов (на модульный коммутатор), для замены 48-портовой линейной карты требуется меньше навыков по сравнению с заменой коммутатора 48 портов.
Требуется дорогая, громоздкая, жесткая медная кабельная инфраструктура. Чревато проблемами управления кабелем.
Для управления патч-кордами и кабелями требуется дополнительная инфраструктура.
Длинная медная кабельная система с витой парой ограничивает использование серверов ввода-вывода с меньшим энергопотреблением и более высокой скоростью.
Стоящие перед нами задачи — это больше, чем просто доказательство будущего.
Менее гибкая архитектура “на строку“. Обновления/изменения платформы влияют на весь ряд.
Unified Fabric не существовало до конца 2010 года.
Top of rack (Вершина стойки). В данной модели, коммутаторы обрабатывают трафик от серверов в одной стойке. Эти коммутаторы предпочтительнее выбирать в 1RU форм-факторе, с целью занимать как можно меньше места, которое в стойке предназначено в основном для серверного оборудования. Соответственно все сервера стойки включаются в Top of rack коммутатор, что упрощает и удешевляет схему каблирования дата-центра. Включение серверов по модели Top of rack также упрощают схему сети коммутации, минимизируя переподписку и поддерживая port-to-port коммутацию для приложений, взаимодействующих в серверах одной стойки. Надстоечные коммутаторы, uplink-каналами подключаются напрямую к коммутатору ядра дата-центра в двух-уровневой схеме построения или к агрегирующему коммутатору в трех-уровневой схеме.
End of row (Конец ряда) коммутаторы обрабатывают трафик от серверов и систем хранения данных, размещенных в нескольких стойках и помещаются в стойки отдельно от серверов, вместе с остальным коммутационным оборудованием, что существенно резко усложняет схему каблирования. Это обычно высокопроизводительные коммутаторы, имеющие высокую плотность портов, поддерживающие широкий диапазон WEB-серверов и устройств хранения данных с ряда стоек. End of row коммутаторы должны иметь неблокируемую архитектуру и запас портов для органицации высокопроизводительного агрегированного uplink-канала с коммутатором ядра.