InfiniBand與以太網：它們是什麼？

作為互連技術，InfiniBand和以太網各具差異，很難一概而論哪個更好。它們在不同的應用領域中持續發展，並成為網絡世界中不可或缺的兩種互連技術。

InfiniBand與以太網：它們是什麼？

InfiniBand網絡

從設計角度來看，InfiniBand和以太網之間的差異很大。作為網絡互連技術，InfiniBand由於其高可靠性、低延遲和高帶寬，在超級計算機集群中被廣泛使用。此外，隨着HPC的發展，InfiniBand也成為GPU服務器網絡互連技術的理想選擇。

為在4X線纜上實現10Gbit/s的原始數據傳輸速率，InfiniBand標準允許在每條通道上以2.5Gbit/s的基礎速率傳輸單數據率（SDR）信號。單個通道可以分別擴展到5Gbit/s和10Gbit/s，並且最大數據傳輸速率在4X線纜上為40Gbit/s，在12X線纜上為120Gbit/s，從而使InfiniBand網絡具備雙數據率（DDR）和四倍數據率（QDR）信號。

以太網網絡

自1980年9月30日引入以來，以太網標準已成為局域網中廣泛使用的通信協議。與InfiniBand不同，以太網設計時主要考慮以下幾個目標：如何在多個系統之間輕鬆傳輸信息？它是一個典型的分布和兼容性設計的網絡。傳統以太網主要使用TCP/IP構建網絡，並逐漸發展為RoCE。

一般來說，以太網網絡主要用於將多臺計算機或其他設備（如打印機、掃描儀等）連接到局域網。它既可以通過光纖線纜將以太網網絡連接到有線網絡，也可以通過無線網絡技術實現以太網網絡在無線網絡中的連接。快速以太網、千兆以太網、10千兆以太網和交換式以太網都是主要的以太網類型。

InfiniBand與以太網：它們之間的差異是什麼？

高性能計算場景中的集群數據傳輸瓶頸是InfiniBand的原始設計目標，它已成為符合時代要求的互連標準。因此，InfiniBand和以太網在帶寬、延遲、網絡可靠性、網絡技術和應用場景等方面存在許多差異。

帶寬

自InfiniBand問世以來，InfiniBand網絡的發展速度一直比以太網更快。主要原因是InfiniBand應用於高性能計算中服務器之間的互連，並減輕CPU負載。然而，以太網更多地面向終端設備互連，對帶寬的需求不是太高。

對於超過10G的高速網絡流量，如果所有數據包都要解包，將消耗大量資源。第一代SDR InfiniBand的運行速率為10Gbps，除了增加數據傳輸帶寬和減少CPU負載外，還允許高速網絡傳輸以卸載CPU和增加網絡利用率。

網絡延遲

在網絡延遲方面，InfiniBand和以太網的表現也非常不同。以太網交換機通常採用存儲-轉發和MAC表查找尋址作為網絡傳輸模型中的第二層技術。而以太網交換機的處理流程必須考慮如IP、MPLS和QinQ等複雜服務，耗費時間較長。

另一方面，對於InfiniBand交換機來說，第二層處理非常簡單。只有16位的LID可以用來搜索轉發路徑信息。同時，利用Cut-Through技術並行處理，將轉發延遲顯著縮短至小於100ns，明顯快於以太網交換機。

網絡可靠性

由於數據包丟失和重傳影響高性能計算的整體性能，需要一個高度可靠的網絡協議來確保網絡在機制層面上無丟包，並實現其高可靠性。InfiniBand通過自定義的第一層到第四層格式，構建了一個完整的網絡協議。端到端的流量控制是InfiniBand網絡數據包發送和接收的基礎，可以實現無丟包的網絡。

與InfiniBand相比，以太網網絡沒有基於調度的流量控制機制。因此，在發送數據包時無法保證對端是否會出現擁塞。為了能夠吸收網絡中突發的瞬時流量增加，需要在交換機中開闢數十MB的緩存空間來臨時存儲這些消息，這將佔用芯片資源。這意味着具有相同規格的以太網交換機的芯片面積顯著大於InfiniBand芯片，不僅成本更高，而且消耗更多功率。

網絡模式

在網絡模式方面，InfiniBand網絡比以太網網絡更容易管理。SDN的邏輯已經在InfiniBand中設計實現。每個InfiniBand第二層網絡上都會有一個子網管理器，用於配置網絡節點的ID，通過控制平面統一計算轉發路徑信息，並將其發放給InfiniBand交換機。為了完成網絡配置，這樣的第二層網絡必須在沒有任何配置的情況下進行配置。

以太網網絡使用自動生成MAC表的網絡模式，IP必須與ARP協議配合使用。此外，網絡中的每個服務器必須定期發送數據包以確保條目實時更新。為了劃分虛擬網絡並限制其規模，必須實現VLAN機制。然而，由於以太網網絡本身缺乏條目學習機制，會導致環路網絡。避免網絡轉發路徑中出現環路，必須實現STP等協議，這增加了網絡配置複雜性。

應用場景

由於其高帶寬、低延遲和對並行計算的優化支持，InfiniBand在高性能計算（HPC）環境中被廣泛應用。它專為處理HPC集群通信需求而設計，其中大規模數據處理和頻繁的節點間通信至關重要。而以太網則常用於企業網絡、互聯網接入和家庭網絡，其主要優勢是低成本、標準化和廣泛支持。

近年來，對大規模計算能力的需求激增，推動了機器內部的高速通信以及超大規模集群中機器間低延遲、高帶寬的通信需求。根據Top500超級計算中心的用戶統計數據，IB網絡在前10和前100個中心中發揮着關鍵作用。例如，OpenAI利用在Microsoft Azure中構建的IB網絡訓練CHATGPT，大幅增加了對大型超級計算中心的需求。

選擇合適的InfiniBand產品

從上述InfiniBand和以太網的比較來看，InfiniBand網絡的優勢非常突出。InfiniBand網絡的快速迭代，從SDR 10Gbps、DDR 20Gbps、QDR 40Gps、FDR 56Gbps、EDR 100Gbps到如今的800Gbps InfiniBand，都得益於RDMA技術。

飛速（FS）推出眾多InfiniBand產品，包括InfiniBand光模組&高速線纜、InfiniBand網卡和InfiniBand交換機。

InfiniBand光模組&高速線纜

飛速（FS）提供豐富的40G-200G InfiniBand光模組&高速線纜，以提升計算和存儲基礎設施的高效互連。

InfiniBand網卡

飛速（FS）的InfiniBand網卡提供高性能和靈活的解決方案，旨在滿足數據中心應用不斷增長的需求。除了舊版的所有功能之外，ConnectX-6和ConnectX-7網卡還提供了一系列增強功能，進一步提高性能和可擴展性。

InfiniBand交換機

InfiniBand交換機，NVIDIA Quantum/Quantum-2提供了高達200Gb/s、400Gb/s的高速互連，超低延遲和可擴展性，加速了開發人員和科學研究人員的研究、創新和產品開發。

結論

InfiniBand和以太網之間存在適用的應用場景。由於InfiniBand網絡帶來的速率顯著增加，CPU不需要為網絡處理犧牲更多資源，從而提高了網絡利用率，使得InfiniBand網絡成為高性能計算行業主要網絡解決方案。未來還將出現1600Gbps GDR和3200Gbps LDR的InfiniBand產品。如果數據中心節點之間對通信延遲沒有高要求，靈活的接入和擴展更為重要，那麼可以長期選擇以太網網絡。