InfiniBand NDR OSFP解決方案

英偉達（NVIDIA）Quantum™-2 InfiniBand平臺已成為大規模雲數據中心的首選解決方案。該平臺提供超高帶寬、極低延遲和簡化運維操作，是應對全球性挑戰的理想選擇。Quantum™-2相較於其前身，實現了跨越性進步，端口速度翻倍、交換機端口密度提高三倍、交換機系統容量提高五倍，並且具備32倍的交換機加速能力。通過採用Dragonfly+拓撲結構，Quantum™-2網絡可在三個跳數內實現400Gb/s連接容量，可支持超過一百萬節點的網絡。這使得開發人員和研究人員能夠獲得卓越的網絡性能，從而更好地應對全球性挑戰。

英偉達（NVIDIA）Quantum™-2 InfiniBand交換機

英偉達（NVIDIA）Quantum™-2 InfiniBand交換機包括兩個型號：MQM9790-NS2F和MQM9700-NS2F。它們的主要區別在於管理方式，NVIDIA QM9700具有外部管理支持接口。兩個型號都具有相同的端口類型和速率。英偉達（NVIDIA）QM9700系列交換機支持靈活配置，可提供64個400G端口或128個200G端口。值得注意的是，NVIDIA QM9700採用1U設計，具有一個32×OSFP端口的單面板，每個OSFP端口支持2X400G速率。

Quantum™-2採用了第三代英偉達（NVIDIA）SHARP技術，可以在各種規模下聚合網絡數據，實現幾乎無限的可擴展性。第三代SHARP技術具有比前一代高32倍的加速能力，支持多租戶和並行應用程序，確保出色性能。關鍵功能包括MPI_Alltoall加速、MPI標籤匹配硬件引擎、高級擁塞控制、動態路由和自修復網絡等，為高性能計算（HPC）集群提供了顯著增強。

ConnectX®-7 InfiniBand網卡

英偉達（NVIDIA）ConnectX®-7 InfiniBand網卡（HCA）ASIC可提供400Gb/s數據吞吐量，支持16個PCIe 5.0或PCIe 4.0主機接口通道。通過每條通道100Gb/s的先進SerDes技術，交換機和HCA端口上的OSFP連接器實現了400Gb/s的InfiniBand傳輸速率。交換機上的OSFP連接器支持2個400Gb/s的InfiniBand端口或200Gb/s的InfiniBand端口，而網卡HCA則具有一個400Gb/s的InfiniBand端口。產品系列包括有源和無源銅纜、光模組和MPO光纖跳線。儘管兩者都採用OSFP封裝，但物理尺寸上存在差異，交換機端的OSFP光模組配備了散熱片進行冷卻。

NDR光纖連接解決方案

針對NDR光纖連接，NDR交換機端口採用每個接口8個通道的OSFP光模組，每個通道採用100Gb/s SerDes。這樣可提供三種主流連接速率選項：800G到800G、800G到2X400G和800G到4X200G。此外，每個通道都支持從100Gb/s到50Gb/s，從而促進與上一代 HDR 設備的互操作性。400G NDR系列的光纜和光模組提供了多種產品選擇，用於配置網絡交換機和網卡系統，主要用於500m覆蓋距離範圍的數據中心，以加速算力系統。不同的連接器類型，包括無源高速線纜（DAC）、有源光纜（AOC）和帶跳線的光模組，適用於不同的傳輸距離和帶寬需求，確保高帶寬和加速計算應用的低延遲和低誤碼率。

OSFP-SR8-800G InfiniBand光模組技術概述

飛速（FS）OSFP-SR8-800G是一款採用100G-PAM4調製技術的2x400Gb/s雙端口多模並行8通道光模組。這項技術利用2個4通道多模MPO-12/APC光纖跳線，將其最大傳輸距離延長至50m。這款雙端口2xSR4光模組內部集成了2個光引擎，可在Quantum™-2交換機的32個OSFP端口中實現64個400Gb/s端口。

光模組應用場景部署

OSFP-SR8-800G光模組在NDR InfiniBand Quantum™-2交換機生態系統中具有多種應用場景，它可以用於連接不同的交換機，也可以連接到ConnectX®-7網卡或BlueField-3 DPU上。

1. NDR InfiniBand Quantum™-2交換機 - NDR InfiniBand Quantum™-2交換機

利用OSFP-SR8-800G光模組和MPO-12/UPC光纖跳線，在最大傳輸距離為50m的情況下，英偉達（NVIDIA）QM9700/QM9790交換機通過OSFP端口以800G（2x400G）的速率進行互聯。

2. NDR InfiniBand Quantum™-2交換機 - 400G ConnectX®-7（OSFP/QSFP/QSFI9112）網卡

針對800G到2x400G鏈路，雙端口OSFP-SR8-800G光模組通過直連多模MPO-12/UPC光纖跳線，可支持最多2個400G ConnectX®-7網卡/DPUs。ConnectX®-7網卡一側的OSFP端口採用OSFP-400G-SR4光模組。

3. NDR InfiniBand Quantum™-2交換機 - 200G ConnectX®-7（OSFP/QSFP112）網卡/BlueField-3 DPU（QSFP112）

採用兩根1-2分支MPO光纖跳線，雙端口OSFP-SR8-800G光模組最多支持4個200G ConnectX®-7網卡/DPUs。如上，OSFP-400G-SR4光模組用於OSFP端口，而Q112-400G-SR4光模組用於QSFP112端口。

在OSFP-400G-SR4和Q112-400G-SR4光模組中，只有400G光模組內的2個通道被激活，建立200G速率的鏈路。

4. NDR InfiniBand Quantum™-2交換機 - DGX H100 GPU系統

對於配備8個"Hopper" H100 GPU的DGX-H100 GPU系統，每個雙端口OSFP-SR8-800G光模組在DGX和Quantum™-2交換機之間建立了2個400G ConnectX®-7鏈路。這種簡化方式與DGX A100設置相比，減少了冗餘、複雜性以及ConnectX®-7網卡和光模組數量。DGX-H100還支持其他網絡選項，包括最多4個ConnectX®-7網卡/2個BlueField-3 DPU，以實現使用InfiniBand和/或以太網進行存儲I/O，為各種網絡配置提供靈活性。

InfiniBand OSFP-400G-SR4光模組

光模組技術簡介

飛速（FS）OSFP-400G-SR4是一款採用100G-PAM4調製技術的單端口OSFP封裝的SR4多模並行光模組，速率為400Gb/s。通過搭配單個4通道多模MPO-12/APC光纖跳線，它可以在最大傳輸距離為50m的情況下進行傳輸。當與1-2分支MPO光纖跳線一起使用時，只有分支端的2個通道被激活，從而自動創建了一個200G的速率。這種配置不僅降低了功耗，還確保高效的傳輸。

光模組使用概述

OSFP-400G-SR4光模組在400Gb/s ConnectX®-7/OSFP PCIe總線網卡中扮演重要角色，用於連接Quantum™-2 InfiniBand交換機內的單個800Gb/s雙端口2x400G OSFP光模組（OSFP-SR8-800G）。

OSFP-400G-SR4光模組可支持2種不同速率，即400Gb/s和200Gb/s，具體取決於所使用的光纖跳線類型：

• 400Gb/s模式：配合MPO-12/APC光纖跳線使用，該模式要求對端的OSFP-SR8-800G光模組與2個OSFP-400G-SR4光模組配對使用，每個光模組連接到1個200Gb/s的ConnectX®-7/OSFP網卡。

• 200Gb/s模式：使用1-2分支MPO光纖跳線，OSFP-400G-SR4光模組以200Gb/s的速率（NIDR200）運行，由於只有2個通道被激活，只能自動降低功耗。在這種模式下，對端的OSFP-SR8-800G光模組可以與4個OSFP-400G-SR4光模組配對使用，每個光模組連接到1個200Gb/s的ConnectX®-7/OSFP網卡。

1. NDR InfiniBand Quantum™-2交換機 - 2 x 400G ConnectX®-7（OSFP）網卡

雙端口OSFP-SR8-800G光模組器，配合2根直連的多模MPO-12/APC光纖跳線，最多支持2個ConnectX®-7/OSFP網卡。每個網卡使用1個OSFP-400G-SR光模組，可以實現最大傳輸距離為50m。

2. NDR InfiniBand Quantum™-2交換機 - 4x200G ConnectX®-7（OSFP）網卡

同上，雙端口OSFP-SR8-800G光模組與兩根直連的多模MPO-12/APC光纖跳線（M4MPOA12FB）配合使用，最多支持2個ConnectX®-7/OSFP網卡。每個適配器採用1個OSFP-400G-SR4光模組，可以實現最大傳輸距離為50m。ConnectX®-7/OSFP網卡與OSFP-400G-SR4光模組配合使用時，僅激活兩個通道，建立一個200G速率鏈路，可自動降低功耗。

MFA7U10-H030 InfiniBand線纜

有源光纜（AOC）技術概述

飛速（FS）英偉達（NVIDIA）InfiniBand MFA7U10-H030兼容OSFP 400G轉QSFP56 2x200G分支線纜是一種有源光分支光纜（AOC），將OSFP轉換為2個QSFP56端口，實現400Gb/s到2個200Gb/s的速率。該線纜將單個OSFP端口的8對多模光纖的成對數據信號連接到每個QSFP56多端口端上的4對光纖。

光纜使用洞察

MFA7U10-H030線纜將具有OSFP端口的NDR交換機與2個HDR交換機或HCA QSFP56端口連接。

• NDR InfiniBand Quantum™-2交換機 - 2個HDR InfiniBand Quantum交換機

• NDR InfiniBand Quantum™-2交換機 - 2 x 200G QSFP56 Connect®-6網卡/BlueField-2 DPU

MTP光纖跳線

該MTP光纜是一根8芯無源多模光纖跳線，每個方向有4根獨立的光纖。它採用8°傾斜研磨（APC）方式MTP連接器，最大程度地減少了光信號的反射並保證了信號的完整性。該光纜設計用於連接2個交換機或將交換機與2個網卡連接，支持可插拔的光纖400GbE/NDR光模組。

MTP光纖跳線專為連接兩個交換機或建立交換機與2個網卡之間的連接而設計。該光纖跳線布線非常靈活，支持與可插拔的光纖400GbE/NDR光模組配對使用。例如，它可與用於InfiniBand和以太網系統的OSFP 800G 2xSR4雙端口光模組在交換機端無縫集成。此外，當與ConnectX®-7網卡和BlueField-3 DPU配合使用時，它可與OSFP-400G-SR4或QSFP112-400G-SR4光模組搭配使用。

飛速（FS）測試簡介

綜合測試包括硬件兼容性測試（插拔、端口重啟、電源重啟）、軟件兼容性測試（連接性、關閉/開啟、參數測試）和性能測試（DDM、誤碼率、穩定性測試）。該鏈路已經以全速運行了一個星期，沒有出現任何丟包、錯誤、CRC錯誤或中斷。所有測試參數均符合相關行業標準。

總結

憑藉對構建高性能InfiniBand網絡的深入理解和廣泛的實施經驗，飛速（FS）為不同的應用場景提供理想的交換機、智能網卡和AOC/DAC/光模組的組合解決方案。飛速（FS）的產品和解決方案為數據中心、高性能計算、邊緣計算等應用帶來機遇優勢和價值，以低成本和出色的性能實現業務加速迭代。