创新解决方案助力企业：设计高性能数据中心网络

随着企业转型和信息系统扩展，大数据和云计算资源的需求正推动数据中心网络流量显著增长。从2016年到2021年，全球数据中心流量以每年约23%的惊人速度增长。值得注意的是，这其中85%的大规模流量涉及数据中心之间的互联以及内部数据中心通信。这一激增现象突显出数据中心网络进化的重要性，强调了提升速度、增大容量及降低延迟的必要性。

发展中的数据中心网络架构

数据中心网络架构已从传统的核心-汇聚-接入模型发展为更现代的脊叶（Spine-Leaf）设计。这种方案优化了网络互联带宽的利用，减少了多层汇聚比率，并便于轻松扩展规模。在脊叶架构中，每一条互联链路均具备100G的带宽，且基于业务需求精心设计了一套网络汇聚比率，以便有效管理数据中心内部及各交付点（PODs）之间的内部流量。 脊叶架构中的三层底层网络实现了核心交换机与接入交换机的分离。若在核心交换机与汇聚交换机之间，或汇聚交换机与接入交换机之间的流量出现瓶颈，可通过增加上联链路并减少汇聚比率来实现水平扩展，同时对带宽扩容的影响降到最低。而覆盖网络则采用EVPN-VXLAN技术实现分布式网关，从而支持灵活弹性的网络部署和根据业务需求定制的资源分配。

借鉴互联网规模数据中心网络的设计与部署经验，该解决方案采用脊叶网络架构，并利用EVPN-VXLAN技术实现网络虚拟化。这种策略为上层服务提供了灵活且可扩展的网络基础设施。数据中心网络被划分为生产网络和办公网络，通过域防火墙进行隔离并确保安全。这些网络通过网络防火墙连接至办公楼、实验室以及区域中心出口。

生产网络和办公网络的核心交换机负责各POD之间的互联，并连接至防火墙设备，提供了高达1.6Tb/s的跨POD通信带宽以及160G的高速网络出口容量。每个POD内部的水平网络容量达到24Tb，为高性能计算集群（CPU/GPU）和存储集群提供了强有力的支持，从而确保整体网络在面临性能瓶颈时仍能保持极低的丢包率。

基于脊叶架构的原则，建筑布线经过精心规划。每个POD内的交换机通过100G链路互连，并以机架顶部（Top of Rack, TOR）模式部署。由2-3个机柜组成的TOR组通过100G链路与Leaf相连。每个POD的Leaf战略性地划分为两个组别，分别部署在不同的网络占用机柜中，从而在POD内跨机柜层面提升了可靠性。总体网络结构得到简化，电缆部署及管理效率显著提高。

面向未来的设备选型

在规划与构建数据中心网络时，对未来五年内的技术进步、行业趋势及运营成本进行细致考量至关重要。这种前瞻性的方法旨在优化现有数据中心资源的利用，以有效支持企业的核心业务运作。

网络交换机的选择在网络数据中心的整体设计中起着决定性作用。传统的大型网络设计方案通常倾向于采用机箱式设备来增强网络系统的整体容量，但这带来的是有限的可扩展性。这种做法伴随着以下固有局限性和风险：

• 机箱式设备的整体容量有限，难以满足现代数据中心日益增长的网络规模需求。

• 核心机箱式设备采用双连接部署，导致高达50%的高故障半径，无法有效保证业务安全性。

• 机箱式设备中的多芯片架构在处理流量能力和网络延迟方面形成显著瓶颈。

• 机箱式设备部署复杂，诊断和修复故障周期较长，在升级和维护期间会导致业务中断时间延长。

• 为了确保未来业务拓展，需要在机箱式设备中预留槽位，这会增加前期投资成本。 。

• 后期扩展受到约束，包括供应商绑定问题和议价能力减弱，导致未来扩容成本大幅增加.

鉴于上述考量，在本项目中，NVIDIA强烈建议采用模块化交换机网络架构。这一战略方案将不同层级的交换机统一在一个模型下，便于维护团队快速熟悉设备。此外，它还为未来对网络架构进行调整、设备重用和维修替换提供了运营灵活性。

通过结合Spine-Leaf（CLOS）架构与模块化交换机网络，初始网络投资（总体拥有成本，TCO）显著降低。Spine-Leaf架构确保了水平可扩展性，即使主干交换机离线也能最大限度地减少对业务运营的影响。对于未来的扩容需求，可以根据数据中心规模要求无缝添加额外的交换机和层级，从而扩大接入容量和骨干网络交换容量。这种战略方法使得整个网络能够按需采购和部署，与服务、应用及业务需求实现无缝对接。

结论

针对当前业务转型趋势以及大数据需求的持续增长，大部分数据中心网络设计正积极采用先进的脊叶（Spine Leaf）架构，并借助EVPN-VXLAN技术实现高效网络虚拟化。这种架构方法确保了高带宽、低延迟网络流量的顺利传输，为可扩展性和灵活性提供了基础。

L展望未来，随着高速光模块（从200G至800G）和有源光缆/直连铜缆（AOCs/DACs）制造成本的降低，数据中心互连技术的演进将持续进行。FS是一家专业为网络、数据中心及电信客户提供通信与高速网络解决方案的提供商，始终致力于提供创新、高效且可靠的系列产品、解决方案和服务，专注于为数据中心、高性能计算、边缘计算、高性能计算以及其他各类应用场景定制最优方案。这些解决方案赋予客户更强的业务加速能力，兼顾低成本与卓越性能。FS丰富的产品系列涵盖了NVIDIA®InfiniBand 交换机, 100G/200G/400G/800G InfiniBand 光模块，和NVIDIA® InfiniBand 适配器，以满足全球各地不同类型数据中心的多元化需求。