創新解決方案助力企業：設計高性能數據中心網絡

隨着企業轉型和信息系統擴展，大數據和雲計算資源的需求正推動數據中心網絡流量顯著增長。從2016年到2021年，全球數據中心流量以每年約23%的驚人速度增長。值得注意的是，這其中85%的大規模流量涉及數據中心之間的互聯以及內部數據中心通信。這一激增現象突顯出數據中心網絡進化的重要性，強調了提升速度、增大容量及降低延遲的必要性。

發展中的數據中心網絡架構

數據中心網絡架構已從傳統的核心-匯聚-接入模型發展為更現代的脊葉（Spine-Leaf）設計。這種方案優化了網絡互聯帶寬的利用，減少了多層匯聚比率，並便於輕鬆擴展規模。在脊葉架構中，每一條互聯鏈路均具備100G的帶寬，且基於業務需求精心設計了一套網絡匯聚比率，以便有效管理數據中心內部及各交付點（PODs）之間的內部流量。 脊葉架構中的三層底層網絡實現了核心交換機與接入交換機的分離。若在核心交換機與匯聚交換機之間，或匯聚交換機與接入交換機之間的流量出現瓶頸，可通過增加上聯鏈路並減少匯聚比率來實現水平擴展，同時對帶寬擴容的影響降到最低。而覆蓋網絡則採用EVPN-VXLAN技術實現分布式網關，從而支持靈活彈性的網絡部署和根據業務需求定製的資源分配。

借鑒互聯網規模數據中心網絡的設計與部署經驗，該解決方案採用脊葉網絡架構，並利用EVPN-VXLAN技術實現網絡虛擬化。這種策略為上層服務提供了靈活且可擴展的網絡基礎設施。數據中心網絡被劃分為生產網絡和辦公網絡，通過域防火牆進行隔離並確保安全。這些網絡通過網絡防火牆連接至辦公樓、實驗室以及區域中心出口。

生產網絡和辦公網絡的核心交換機負責各POD之間的互聯，並連接至防火牆設備，提供了高達1.6Tb/s的跨POD通信帶寬以及160G的高速網絡出口容量。每個POD內部的水平網絡容量達到24Tb，為高性能計算集群（CPU/GPU）和存儲集群提供了強有力的支持，從而確保整體網絡在面臨性能瓶頸時仍能保持極低的丟包率。

基於脊葉架構的原則，建築布線經過精心規劃。每個POD內的交換機通過100G鏈路互連，並以機架頂部（Top of Rack, TOR）模式部署。由2-3個機櫃組成的TOR組通過100G鏈路與Leaf相連。每個POD的Leaf戰略性地劃分為兩個組別，分別部署在不同的網絡佔用機櫃中，從而在POD內跨機櫃層面提升了可靠性。總體網絡結構得到簡化，電纜部署及管理效率顯著提高。

面向未來的設備選型

在規劃與構建數據中心網絡時，對未來五年內的技術進步、行業趨勢及運營成本進行細緻考量至關重要。這種前瞻性的方法旨在優化現有數據中心資源的利用，以有效支持企業的核心業務運作。

網絡交換機的選擇在網絡數據中心的整體設計中起着決定性作用。傳統的大型網絡設計方案通常傾向於採用機箱式設備來增強網絡系統的整體容量，但這帶來的是有限的可擴展性。這種做法伴隨着以下固有局限性和風險：

• 機箱式設備的整體容量有限，難以滿足現代數據中心日益增長的網絡規模需求。

• 核心機箱式設備採用雙連接部署，導致高達50%的高故障半徑，無法有效保證業務安全性。

• 機箱式設備中的多芯片架構在處理流量能力和網絡延遲方面形成顯著瓶頸。

• 機箱式設備部署複雜，診斷和修復故障周期較長，在升級和維護期間會導致業務中斷時間延長。

• 為了確保未來業務拓展，需要在機箱式設備中預留槽位，這會增加前期投資成本。 。

• 後期擴展受到約束，包括供應商綁定問題和議價能力減弱，導致未來擴容成本大幅增加.

鑒於上述考量，在本項目中，NVIDIA強烈建議採用模塊化交換機網絡架構。這一戰略方案將不同層級的交換機統一在一個模型下，便於維護團隊快速熟悉設備。此外，它還為未來對網絡架構進行調整、設備重用和維修替換提供了運營靈活性。

通過結合Spine-Leaf（CLOS）架構與模塊化交換機網絡，初始網絡投資（總體擁有成本，TCO）顯著降低。Spine-Leaf架構確保了水平可擴展性，即使主幹交換機離線也能最大限度地減少對業務運營的影響。對於未來的擴容需求，可以根據數據中心規模要求無縫添加額外的交換機和層級，從而擴大接入容量和骨幹網絡交換容量。這種戰略方法使得整個網絡能夠按需採購和部署，與服務、應用及業務需求實現無縫對接。

結論

針對當前業務轉型趨勢以及大數據需求的持續增長，大部分數據中心網絡設計正積極採用先進的脊葉（Spine Leaf）架構，並藉助EVPN-VXLAN技術實現高效網絡虛擬化。這種架構方法確保了高帶寬、低延遲網絡流量的順利傳輸，為可擴展性和靈活性提供了基礎。

L展望未來，隨着高速光模組（從200G至800G）和有源光纜/直連銅纜（AOCs/DACs）製造成本的降低，數據中心互連技術的演進將持續進行。FS是一家專業為網絡、數據中心及電信客戶提供通信與高速網絡解決方案的提供商，始終致力於提供創新、高效且可靠的系列產品、解決方案和服務，專註於為數據中心、高性能計算、邊緣計算、高性能計算以及其他各類應用場景定製最優方案。這些解決方案賦予客戶更強的業務加速能力，兼顧低成本與卓越性能。FS豐富的產品系列涵蓋了NVIDIA®InfiniBand 交換機, 100G/200G/400G/800G InfiniBand 光模組，和NVIDIA® InfiniBand 適配器，以滿足全球各地不同類型數據中心的多元化需求。