關於InfiniBand的技術問答

隨着大數據和高性能計算技術的進步，對高性能計算的需求不斷增長。為了滿足這一需求，英偉達（NVIDIA）Quantum-2 InfiniBand平臺為用戶提供了卓越的分布式計算性能，實現高速和低延遲的數據傳輸和處理能力。

這些是關於IB技術的常見問答。

問：CX7 NDR200 QSFP112端口是否與HDR/EDR線纜兼容？

答：是的，可以兼容。

問：如何將CX7 NDR網卡連接到Quantum-2 QM97XX系列交換機？

答：CX7 NDR網卡使用英偉達（NVIDIA）的400GBASE-SR4或400GBASE-DR4光模組，而QM97XX系列交換機使用800GBASE-SR8（相當於2x400GBASE-SR4）或800GBASE-DR8（相當於2x400GBASE-DR4）光模組。這些模塊使用12芯多模通用極性APC端面網線進行連接。

問：CX7網卡雙端口400G可以通過綁定實現800G的速率嗎？為什麼200G可以通過綁定實現400G？

答：整體網絡性能由如PCIe帶寬瓶頸、網卡處理能力和物理網絡端口帶寬等因素決定。CX7網卡具有5.0 x16的PCIe規範，理論帶寬限制為512Gbps。由於PCIe 5.0 x16的最大帶寬限制，CX7網絡適配器上沒有可用於雙端口400G的硬件。

問：如何連接分支線纜？

答：為了實現出色性能，分支線纜（800G到2x400G）需要連接到兩臺不同的服務器上。這樣可以確保分支線纜不完全連接到以太網服務器網卡上，因為GPU服務器通常有多個網卡。

問：在InfiniBand NDR情景中，一分二線纜是如何連接的？

答：在InfiniBand NDR情景中，有兩種類型的分支線纜。第一種類型使用帶有分線的光模組（將400G分為2x200G），例如MMS4X00-NS400 + MFP7E20-NXXX + MMS4X00-NS400（降級為200G使用）。第二種類型使用分支高速線纜（將800G分為2x400G），例如MCP7Y00-NXXX或MCP7Y10-NXXX。

問：在Superpod網絡中，每臺服務器上的4個NDR200卡是否可以使用1x4線纜直接連接到同一交換機，還是應該使用2個1x2線纜連接到不同的交換機？

答：在Superpod網絡中，不建議使用一分四線纜將每臺服務器上的4個NDR200端口直接連接到同一交換機。這種連接方式不符合Superpod網絡規則。為了確保NCCL/SHARP的出色性能，葉交換機應使用一對四線纜以特定的模式連接不同服務器的NDR200端口。

問：關於最新的Superpod網絡，根據Superpod網絡白皮書的說明，在計算網絡中需要單獨配置2個帶有UFM軟件的IB交換機。然而，這樣的配置會導致集群中少一個GPU節點。如果選擇不設置單獨的UFM交換機，而是僅在管理節點上部署UFM軟件，我能否通過另一組存儲網絡管理集群而不影響計算網絡？

答：建議配置UFM設備，包括軟件。在計算網絡中的管理節點上部署UFM軟件是一種替代方案，但它不應承擔GPU計算工作負載。存儲網絡作為一個獨立的網絡層面運行，不能用於管理計算集群。

問：企業UFM、SDN、遙測和Cyber-Al之間有什麼區別？購買UFM是否有必要？

答：可以使用OFED中包含的opensm和命令腳本工具進行簡單的管理和監控，但缺少UFM友好的圖形用戶界面和許多功能。

問：交換機、OFED和UFM所需的子網管理器數量有差異嗎？哪個更適合客戶部署？

答：交換機管理適用於最多2K個節點的網絡。UFM和OFED的openSM節點管理能力沒有限制，但需要與管理節點的CPU和硬件處理能力協調。

問：為什麼一個具有64個400Gb端口的交換機只有32個OSFP端口？

答：這個限制在於2U面板的尺寸和功耗限制，它只能容納32個插槽。這個配置是為了支持兩個400G端口的OSFP接口而設計的。在NDR交換機中，插槽和端口的概念是有區別的。

問：是否可以使用線纜連接兩個具有不同接口的模塊來傳輸數據？例如，使用一根線纜將服務器上的OSFP端口連接到交換機上的QSFP112端口？

答：模塊的互連與封裝是獨立的。OSFP和QSFP112主要描述模塊的物理尺寸。只要以太網介質類型相同（即，鏈路的兩端都是400G-DR4或400G-FR4等），OSFP和QSFP112模塊可以相互兼容。

問：UFM可以用來監控RoCE網絡嗎？

答：不可以，UFM僅支持InfiniBand網絡。

問：對於管理型和非管理型交換機，UFM的功能是否相同？

答：是的，功能是相同的。

問：IB線纜支持的最大傳輸距離是多少，會不會影響傳輸帶寬和延遲？

答：光模組+跳線可以達到大約500m，而無源高速線纜的範圍約為3m，有源ACC線纜可達到5m。

問：CX7網卡是否可以連接到其他支持以太網模式下RDMA的400G以太網交換機？

答：可以建立400G以太網連接，並且RoCE可以在這種情況下工作，但性能不能保證。對於400G以太網，建議使用由BF3+Spectrum-4組成的Spectrum-X平臺。

問：NDR是否與HDR和EDR兼容，這些線纜和模塊只有一種規格嗎？

答：是的，通常使用OSFP到2xQSFP56 DAC/AOC線纜以確保與HDR或EDR兼容。

問：OSFP網卡端的模塊應該是扁平模塊嗎？

答：網卡配有散熱器，所以可以直接使用厚模塊。散熱片模塊主要用於液冷交換機端。

問：IB網卡是否支持以太網模式下的RDMA？

答：可以啟用RoCE，建議使用英偉達（NVIDIA） Spectrum-X解決方案。

問：為什麼沒有NDR光纜？

答：OSFP模塊體積大、較重，使得光纖更容易受到損壞。一個兩分支的線纜會有3個大型光模組端口，而一個四分支的線纜會有5個光模組端口。這增加了在安裝過程中光纖斷裂的風險，尤其是在30m的AOCs中。

問：除了不同的光模組外，400G IB和400G以太網使用的線纜是否相同？

答：線纜是相同的，但需要注意的是它們都是成8°角的APC類型。

問：CX7網卡對延遲性能有特定要求嗎？在優化的調試環境下，例如完全使用內存和綁定核心，網絡延遲要求是多少？可接受的延遲值是多少，例如小於多少μs？

答：延遲性能取決於測試機器的頻率和配置，以及所使用的測試工具，如perftest和MPI。

問：OSFP網卡端的模塊應該是OSFP-平模塊嗎？為什麼提到了OSFP-搭載散熱器？

答：“搭載散熱器”是指集成在插槽中的散熱器。

問：UFM在這個集群解決方案中起什麼作用？

答：UFM在服務器上獨立運行，可以被視為一個節點。它支持使用2個服務器實現高可用性。但是，不建議在處理計算工作負載的節點上運行UFM。

問：推薦為什麼規模的網絡集群配置UFM？

答：建議為所有InfiniBand網絡配置UFM，因為UFM不僅提供openSM，還提供其他強大的管理和接口功能。

問：PCIe 5只支持最高512G嗎？PCIe 4呢？

答：PCIe Gen5提供最高32G x 16通道，從而獲得最大帶寬512G。另一方面，PCIe Gen4提供最高16G x 16通道，提供最大帶寬256G。

問：IB網絡卡支持單工或雙工模式嗎？

答：IB網絡卡都是雙工的。單工或雙工只是對當前設備的一個概念，因為發射和接收數據的物理通道已經分開。

問：飛速（FS）能為建設IB網絡集群提供技術支持和高質量產品嗎？

答：當然可以，飛速（FS）專註於提供高性能計算和數據中心解決方案。在構建IB網絡集群方面，飛速（FS）擁有豐富的經驗和專業知識，並提供多種連接方案，以滿足不同客戶的需求。

飛速（FS）的InfiniBand解決方案包括速率為800G、400G、200G、100G和56/40G的AOC/DAC線纜和光模組，以及英偉達（NVIDIA） InfiniBand網卡和英偉達（NVIDIA） InfiniBand交換機。在IB網絡集群解決方案中，飛速（FS）的專業團隊將根據您的需求和網絡規模提供合適的解決方案，確保網絡穩定性和高性能。

了解更多信息和支持，請訪問飛速（FS）官網。