InfiniBand：賦能高性能計算網絡的卓越引擎

InfiniBand作為一種先進的內網計算平臺，已成為驅動高性能計算（HPC）以及超大規模雲基礎設施演進的核心力量，其展現出無可比擬的性能優勢。專為滿足服務器級連接需求而設計，InfiniBand在服務器間的高速通信、存儲設備與網絡設施之間的高效互聯中扮演着至關重要的角色。這一技術憑藉其卓越性能和可靠表現，不僅被InfiniBand行業協會廣泛接納並積極推廣，更是在全球超級計算機500強榜單（TOP500 list）中佔據了主導地位，成為首選互連解決方案。

值得注意的是，在TOP500系統列表中，有44.4%的系統採用了InfiniBand作為關鍵的互連技術手段，遠超過採用以太網技術的40.4%份額。接下來，我們將深入剖析InfiniBand相較於以太網的獨特之處及其在高性能網絡環境中的差異化應用價值。

InfiniBand與以太網的對比分析

InfiniBand技術概述

作為一種由InfiniBand貿易協會（IBTA）指導制定的標準化通信規範，InfiniBand專註於設計一種適用於數據中心內部服務器、通訊基礎設施設備、存儲解決方案以及嵌入式系統之間互連的交換結構體系。其對標準化的高度關注確保了在高性能計算網絡環境中各組件間實現無縫集成和高效信息傳遞。

InfiniBand憑藉其顯著的高帶寬及低延遲特性而聞名遐邇，目前支持諸如FDR 56Gbps、EDR 100Gbps、HDR 200Gbps乃至NDR 400Gbps/800Gbps（通過4x鏈路寬度連接時的數據傳輸速率），並有望在未來進一步提升速度閾值。此外，InfiniBand具備出色的可擴展性，可在單個子網內輕鬆支持數萬個節點，因此成為高性能計算（HPC）環境的理想選擇。同時，藉助服務質量（QoS）和故障轉移功能，InfiniBand成為了非易失性內存快速結構化接口（NVMe-oF）存儲協議以及包括以太網、光纖通道（FC）和TCP/IP在內的多種網絡架構中的關鍵組件。對於追求卓越性能與極致擴展性的數據中心而言，採用InfiniBand無疑是明智之舉。

以太網技術概述

源自施樂公司、英特爾公司和DEC共同構思的以太網標準，已經成為全球範圍內使用最為廣泛的局域網（LAN）數據傳輸通信協議。自20世紀70年代起，以太網作為一種有線通信技術被開創出來，用於連接各種局域網（LAN）或廣域網（WAN）內的設備。得益於其極高的適應性，無論是打印機還是筆記本電腦等不同類型的設備都能夠通過以太網實現相互連接，應用場景廣泛覆蓋建築樓宇、居民住宅乃至小型社區。用戶友好的配置方式使得只需通過路由器和以太網連線即可簡便構建LAN網絡，進而整合各類如交換機、路由器和個人計算機等設備。

儘管無線網絡在許多場合得到廣泛應用，但以太網仍憑藉其卓越的可靠性和抗干擾能力，在有線網絡領域保持着首選地位。歷經多年的發展與修訂，以太網不斷提升和完善自身功能。如今，IEEE旗下802.3標準組織已經發布了包括100GE、200GE、400GE和800GE在內的多個以太網接口標準，這體現了業界持續推動和優化以太網技術的決心與努力。

 

InfiniBand與以太網在高性能網絡環境中的對比分析

InfiniBand技術最初旨在解決高性能計算環境中集群間數據傳輸的瓶頸問題，隨着時間推移，已逐漸演變為一種廣泛應用的互連標準，並成功適應了現代多樣化的需求。相較於以太網，InfiniBand在帶寬、延遲、網絡可靠性和網絡架構等方面表現出顯著差異。

網絡帶寬

InfiniBand的發展速度較快，尤其體現在其對高性能計算場景的高度優化和降低CPU處理負載的能力上。而以太網儘管廣泛應用於各類終端設備間的連接，但在高帶寬需求層面並不像InfiniBand那樣迫切。

網絡延遲性

InfiniBand採用Cut-Through交換技術，在轉發數據時能將延時降至100納秒以內，大大提升了網絡響應速度。相比之下，以太網由於在其交換機中引入了諸如IP、MPLS、QinQ等服務所帶來的額外處理流程，導致轉發延時相對較高。

網絡可靠性

InfiniBand憑藉明確的第1層至第4層協議格式設計以及端到端流控制機制，確保了無損網絡通信，為高性能計算領域提供了卓越的可靠性保障。而以太網則缺乏類似的基於調度的流控制機制，依賴於芯片更大的緩存區域臨時存儲消息，這不僅增加了成本，還加劇了功耗。

網絡管理

InfiniBand借鑒了軟件定義網絡（SDN）理念，使其網絡架構更為簡潔高效。每個第二層網絡內部都配備了一個子網管理器，用於配置節點並智能計算轉發路徑信息。與此相反，以太網需要依賴MAC地址條目、IP協議以及ARP協議等多個層次實現網絡互聯，從而增加了網絡管理的複雜性。此外，以太網依靠定期發送更新包來維護路由表，並通過VLAN機制劃分虛擬網絡邊界，限制網絡規模；然而這種機制可能導致環路等問題出現，因此通常還需要STP等額外協議來進行環路避免。

 

深入解析InfiniBand產品系列

InfiniBand 交換機和光纖網卡

對比分析表明，相較於以太網，InfiniBand網絡在高性能計算領域展現出了無可比擬的優勢。對於計劃在高級數據中心部署InfiniBand交換機的用戶而言，有必要深入了解其詳細性能特點和迭代歷程。歷經多年快速發展，InfiniBand標準已從最初的SDR 10Gbps、DDR 20Gbps、QDR 40Gbps，逐步演進到FDR 56Gbps、EDR 100Gbps，並進一步發展為HDR 200Gbps及NDR 400Gbps/800Gbps等更高速率規格，這些重大突破得益於RDMA（遠程直接內存訪問）技術的集成應用。

飛速（FS）為此提供了一系列先進InfiniBand解決方案，其中包括NVIDIA Quantum™-2 NDR InfiniBand 400G數據中心交換機以及NVIDIA Quantum™ HDR InfiniBand 200G數據中心交換機，這兩款產品均支持管理型和非管理型兩種配置模式，以滿足不同客戶對靈活性的需求。此外，為了確保全方位服務支持，針對400G交換機，飛速（FS）還提供了為期一年、三年或五年的服務選項，旨在幫助用戶實現高效穩定的數據中心運行環境。

InfiniBand光模組

InfiniBand DAC高速線纜

InfiniBand AOC有源光纜

 

InfiniBand技術標準概覽及優勢分析

InfiniBand NDR（下一代數據速率）

InfiniBand NDR系列包括了適用於400Gbase/800Gbase傳輸速率的光收發器與直連銅纜（DAC），旨在兼容Mellanox NDR 400Gb交換機，如MQM9700/MQM9790系列。這些組件在GPU加速計算場景中提供了高性能連接，並有望節省高達50%的成本。它們特別適合於高性能計算（HPC）、雲計算、模型渲染和基於InfiniBand 400Gb/800Gb網絡的存儲應用。

InfiniBand HDR（高數據速率）

飛速（FS）推出的InfiniBand HDR產品線涵蓋了多樣化的高速互聯產品，例如200Gb/s和400Gb/s QSFP56 IB HDR多模光纖（MMF）有源/無源光纜（AOC）、有源/無源直連銅纜（DAC）、光學收發器路由器以及200G交換機等。這些模塊和電纜能夠無縫銜接MQM8700/MQM8790等交換機與NVIDIA GPU（如A100/H100/A30）和CPU服務器，以及ConnectX-5/6/7 VPI等存儲網絡適配器。此類解決方案不僅可實現最高達50%的成本節約，而且在涉及GPU加速的高性能計算（HPC）集群應用——包括模型渲染、深度學習（DL）以及InfiniBand HDR環境下的NVIDIA應用網絡通信時表現出卓越性能。

InfiniBand EDR（增強數據速率）

InfiniBand EDR產品系列提供了一系列100Gbase QSFP28 EDR AOC、EDR DAC、AOC及光收發器，專為GPU加速計算設計，具有成本效益高且性能優越的特點。

InfiniBand FDR（十四倍數據速率）

InfiniBand FDR產品範圍包括了40Gbase QSFP+ FDR10 AOC、DAC及光收發器，以及56Gbase QSFP+ FDR DAC和AOC。所有這些產品均可無縫整合到Mellanox EDR交換機之中。

 

InfiniBand在網絡高效能計算中的顯著優勢

隨着數據通信、互聯網技術和可視化展現需求的不斷提升，對計算能力、存儲容量以及網絡效率的需求也隨之增長。在此背景下，InfiniBand網絡憑藉其提供的高帶寬服務、低延遲特性以及將協議處理和數據移動從CPU轉移到互連層以減少計算資源消耗的獨特優勢，成為了高性能計算數據中心的理想選擇。此技術廣泛應用於Web 2.0、雲計算、大數據處理、金融服務、虛擬化數據中心以及存儲應用等領域，帶來了顯著的性能提升效果。

速度方面，InfiniBand已超越100G以太網，目前支持從100G/200G到400G/800G不等的InfiniBand交換機配置，完美契合HPC架構的高性能要求。InfiniBand交換機通過高帶寬、高速度與低延遲的有效結合，有力提升了服務器效能和應用運行效率。

擴展性是InfiniBand另一項突出優點，單個子網能夠在網絡層2上支持多達48,000個節點，相比以太網，它減少了對ARP廣播機制的依賴，有效避免了廣播風暴並減輕了額外帶寬浪費。此外，多個子網可以靈活地關聯至交換機，進一步增強了網絡的靈活性。

飛速（FS）深刻認識到高性能計算的重要性，因此提供了一系列基於Quantum InfiniBand交換設備構建的InfiniBand產品。這些產品支持高達16Tb/s的無阻塞帶寬，並擁有低於130ns的端口間延遲，確保為HPC數據中心提供高可用性和多服務支持。儘管以太網網絡通過跨多個設備分配工作負載仍不失為有效的數據傳輸選項，但FS同樣供應一系列多速率以太網交換機，協助客戶構建既靈活又高效的網絡環境。

 

選擇合適的網絡

在選擇合適的網絡技術時，InfiniBand與以太網各自在不同應用場景中展現出獨特優勢。當聚焦於顯著提升數據傳輸速率、優化網絡資源利用率並有效減輕CPU在網絡數據處理方面的負擔時，InfiniBand網絡憑藉其核心技術優勢，在高性能計算領域脫穎而出，成為關鍵的解決方案。

然而，在數據中心環境中，若節點間通信延遲並非首要考量因素，且更加重視網絡接入的靈活性與擴展性，則以太網網絡能夠提供一種長期穩定且適應性強的基礎設施支持。

InfiniBand網絡憑藉其卓越性能和創新架構設計，為HPC數據中心用戶帶來了前所未有的業務效能優化潛力。通過消除多層級結構所導致的延遲問題，並確保關鍵計算節點能無縫升級接入帶寬，InfiniBand技術對於整體運營效率的提升起到了決定性作用。隨着其應用範圍不斷擴大和技術認可度持續攀升，預計未來InfiniBand網絡將在更多複雜且要求嚴苛的應用場景中得到廣泛應用和部署。