ToR- und ToR-Switches in Rechenzentrums-Architekturen
Top of Rack (ToR) ist eine gängige Architektur für Switch-to-Server-Verbindungen. Laut einem Umfrageergebnis aus dem Jahr 2015 war ToR die am häufigsten verwendete Architektur sowohl in Colocation-Rechenzentren als auch in Enterprise-Rechenzentren. Diese Architektur ist bereits heute weit verbreitet und wird auch in Zukunft weiter an Bedeutung gewinnen. ToR-Switches sind daher beliebter denn je.
Aber wie sieht ein ToR aus? Und ist ein ToR-Schalter überhaupt oben im Rack platziert?
Sehr gute Fragen. Ein ToR-Switch kann sich oben im Rack befinden, aber der tatsächliche physische Standort muss aber nicht zwangsläufig oben im Rack sein. Er kann sich ebenfalls unten oder in der Mitte des Racks befinden. Nach der Installation werden Sie jedoch feststellen, dass die Oberseite des Racks aufgrund der einfacheren Zugänglichkeit und der saubereren Kabelführung eine bessere Position bietet.
Hauptvorteile von ToR sind:
Die Kupferverkabelung bleibt "In Rack".
Geringere Verkabelungskosten.
Modulare und flexible "per rack"-Architektur.
Zukunftssicher für höhere Geschwindigkeiten.
In einem ToR-Design ist mindestens ein Netzwerkswitch in jedem Rack platziert und Server innerhalb des Racks werden typischerweise über ein Kupferkabel mit dem Switch verbunden. Dann werden die Switches in jedem Rack mit dem ToR-Switch verbunden.
In der heutigen Leaf-Spine-Topologie sind die ToR-Switches die Leaf-Switches und werden an den Spine-Switches befestigt. So werden beispielsweise 10G-Server über 10G SFP+ DAC (Direct Attachment Kupferkabel) oder über Cat6a/Cat7-Kabel und 10GBASE-T-Transceiver mit einem 10G ToR/Leaf-Switch (ebenfalls 40G Ports) verbunden. Dann wird der 10G-Switch mit einem 40G-Spine-Schalter verbunden.
Die Kombination von ToR und Leaf-Spine hat einige Probleme gelöst, die es in der traditionellen dreistufigen (Access-Aggregation-Core) Topologie gab, wie z.B. den "Stau" im Top-Tier-Switch. In einer dreistufigen Netzwerktopologie nimmt der Datenverkehr einen einzigen "besten Pfad", der aus einer Reihe alternativer Pfade ausgewählt wird, bis zu dem Punkt, an dem er überlastet wird und dann Pakete fallen gelassen werden.
In einer Leaf-Spine-Topologie wird der Pfad zufällig so gewählt, dass die Verkehrslast gleichmäßig auf die Switches der obersten Schicht verteilt wird, um zu verhindern, dass ein Uplink-Pfad gewählt wird. Wenn einer der Switches der obersten Schicht ausfällt, beeinträchtigt er die Leistung im Rechenzentrum nur geringfügig.
Da ToR das polulärste Design der Rechenzentrumsarchitektur ist, werden ToR-Switches natürlich auch immer beliebter. Hier finden Sie einige leistungsstarke ToR-Switches mit unterschiedlichen Switch-to-Server-Datenraten von 1G bis 100G.
Dominante Switch-to-Server Datenrate
Switch-Modell
Port-Typ
Switching-Kapazität
Latenz
Paketweiterleitungsrate
1G
Dell Networking S3048-ON
48*SFP, 4*SFP+
260 Gbps (Vollduplex), 130 Gbps (Halbduplex)
1000Base-T: < 3.7 µs, 10G: < 1.8 µs
131 Mpps
HPE 5900AF-48G-4XG-2QSFP+
48*SFP, 4*SFP+, 2*QSFP+
336 Gbps
10G: < 1.5 µs
250 Mpps
10G
Cisco Nexus 5672UP
48*SFP+, 6*QSFP+
1.44 Tbps
~ 1 µs at any packet size
1.07 Bpps
Juniper QFX5100-48S
48*SFP+, 6*QSFP+
1.44 Tbps
550 ns-3 µs
1.08 Bpps
25G
Arista 7280SR2-48YC6
48*SFP28, 6*QSFP28
1.8 Tbps
3.8 µs
1.6 Bpps
Mellanox SN2410
48*SFP28, 8*QSFP28
2 Tbps
300 ns
2.98 Bpps
40G
FS S8050-20Q4C
20*QSFP+, 4*QSFP28, 4*SFP+
2.4 Tbps
612 ns
1.2 Bpps
100G
Arista 7280CR-48
48 QSFP28, 8 QSFP+
10.24Tbps
~ 3.8 µs
5.76 Bpps
Alle diese ToR-Switches unterstützen L2/L3-Funktionen, IPv4/IPv6 Dual-Stack, Data Center Bridging und FCoE. ToR-Switches werden oft als Multiport und mit geringer Latenz benötigt, da sie mit dem Traffic verschiedener Layer zu tun haben.
Heute tragen die Datenraten von 1G und 10G noch immer zum größten Teil aller Switch-to-Server-Verbindungen bei. 40G und 100G ToR Switches, die mehrere Datenraten unterstützen können, sind noch immer ziemlich selten. Das 40G-Beispiel und das oben aufgeführte 100G-Beispiel sind einer der wenigen Multiport-High-Speed-ToR-Switches, die mit geringer Latenz und hoher Leistung arbeiten.