InfiniBand NDR OSFP解决方案

英伟达（NVIDIA）Quantum™-2 InfiniBand平台已成为大规模云数据中心的首选解决方案。该平台提供超高带宽、极低延迟和简化运维操作，是应对全球性挑战的理想选择。Quantum™-2相较于其前身，实现了跨越性进步，端口速度翻倍、交换机端口密度提高三倍、交换机系统容量提高五倍，并且具备32倍的交换机加速能力。通过采用Dragonfly+拓扑结构，Quantum™-2网络可在三个跳数内实现400Gb/s连接容量，可支持超过一百万节点的网络。这使得开发人员和研究人员能够获得卓越的网络性能，从而更好地应对全球性挑战。

英伟达（NVIDIA）Quantum™-2 InfiniBand交换机

英伟达（NVIDIA）Quantum™-2 InfiniBand交换机包括两个型号：MQM9790-NS2F和MQM9700-NS2F。它们的主要区别在于管理方式，NVIDIA QM9700具有外部管理支持接口。两个型号都具有相同的端口类型和速率。英伟达（NVIDIA）QM9700系列交换机支持灵活配置，可提供64个400G端口或128个200G端口。值得注意的是，NVIDIA QM9700采用1U设计，具有一个32×OSFP端口的单面板，每个OSFP端口支持2X400G速率。

Quantum™-2采用了第三代英伟达（NVIDIA）SHARP技术，可以在各种规模下聚合网络数据，实现几乎无限的可扩展性。第三代SHARP技术具有比前一代高32倍的加速能力，支持多租户和并行应用程序，确保出色性能。关键功能包括MPI_Alltoall加速、MPI标签匹配硬件引擎、高级拥塞控制、动态路由和自修复网络等，为高性能计算（HPC）集群提供了显著增强。

ConnectX®-7 InfiniBand网卡

英伟达（NVIDIA）ConnectX®-7 InfiniBand网卡（HCA）ASIC可提供400Gb/s数据吞吐量，支持16个PCIe 5.0或PCIe 4.0主机接口通道。通过每条通道100Gb/s的先进SerDes技术，交换机和HCA端口上的OSFP连接器实现了400Gb/s的InfiniBand传输速率。交换机上的OSFP连接器支持2个400Gb/s的InfiniBand端口或200Gb/s的InfiniBand端口，而网卡HCA则具有一个400Gb/s的InfiniBand端口。产品系列包括有源和无源铜缆、光模块和MPO光纤跳线。尽管两者都采用OSFP封装，但物理尺寸上存在差异，交换机端的OSFP光模块配备了散热片进行冷却。

NDR光纤连接解决方案

针对NDR光纤连接，NDR交换机端口采用每个接口8个通道的OSFP光模块，每个通道采用100Gb/s SerDes。这样可提供三种主流连接速率选项：800G到800G、800G到2X400G和800G到4X200G。此外，每个通道都支持从100Gb/s到50Gb/s，从而促进与上一代 HDR 设备的互操作性。400G NDR系列的光缆和光模块提供了多种产品选择，用于配置网络交换机和网卡系统，主要用于500m覆盖距离范围的数据中心，以加速算力系统。不同的连接器类型，包括无源高速线缆（DAC）、有源光缆（AOC）和带跳线的光模块，适用于不同的传输距离和带宽需求，确保高带宽和加速计算应用的低延迟和低误码率。

OSFP-SR8-800G InfiniBand光模块技术概述

飞速（FS）OSFP-SR8-800G是一款采用100G-PAM4调制技术的2x400Gb/s双端口多模并行8通道光模块。这项技术利用2个4通道多模MPO-12/APC光纤跳线，将其最大传输距离延长至50m。这款双端口2xSR4光模块内部集成了2个光引擎，可在Quantum™-2交换机的32个OSFP端口中实现64个400Gb/s端口。

光模块应用场景部署

OSFP-SR8-800G光模块在NDR InfiniBand Quantum™-2交换机生态系统中具有多种应用场景，它可以用于连接不同的交换机，也可以连接到ConnectX®-7网卡或BlueField-3 DPU上。

1. NDR InfiniBand Quantum™-2交换机 - NDR InfiniBand Quantum™-2交换机

利用OSFP-SR8-800G光模块和MPO-12/UPC光纤跳线，在最大传输距离为50m的情况下，英伟达（NVIDIA）QM9700/QM9790交换机通过OSFP端口以800G（2x400G）的速率进行互联。

2. NDR InfiniBand Quantum™-2交换机 - 400G ConnectX®-7（OSFP/QSFP/QSFI9112）网卡

针对800G到2x400G链路，双端口OSFP-SR8-800G光模块通过直连多模MPO-12/UPC光纤跳线，可支持最多2个400G ConnectX®-7网卡/DPUs。ConnectX®-7网卡一侧的OSFP端口采用OSFP-400G-SR4光模块。

3. NDR InfiniBand Quantum™-2交换机 - 200G ConnectX®-7（OSFP/QSFP112）网卡/BlueField-3 DPU（QSFP112）

采用两根1-2分支MPO光纤跳线，双端口OSFP-SR8-800G光模块最多支持4个200G ConnectX®-7网卡/DPUs。如上，OSFP-400G-SR4光模块用于OSFP端口，而Q112-400G-SR4光模块用于QSFP112端口。

在OSFP-400G-SR4和Q112-400G-SR4光模块中，只有400G光模块内的2个通道被激活，建立200G速率的链路。

4. NDR InfiniBand Quantum™-2交换机 - DGX H100 GPU系统

对于配备8个"Hopper" H100 GPU的DGX-H100 GPU系统，每个双端口OSFP-SR8-800G光模块在DGX和Quantum™-2交换机之间建立了2个400G ConnectX®-7链路。这种简化方式与DGX A100设置相比，减少了冗余、复杂性以及ConnectX®-7网卡和光模块数量。DGX-H100还支持其他网络选项，包括最多4个ConnectX®-7网卡/2个BlueField-3 DPU，以实现使用InfiniBand和/或以太网进行存储I/O，为各种网络配置提供灵活性。

InfiniBand OSFP-400G-SR4光模块

光模块技术简介

飞速（FS）OSFP-400G-SR4是一款采用100G-PAM4调制技术的单端口OSFP封装的SR4多模并行光模块，速率为400Gb/s。通过搭配单个4通道多模MPO-12/APC光纤跳线，它可以在最大传输距离为50m的情况下进行传输。当与1-2分支MPO光纤跳线一起使用时，只有分支端的2个通道被激活，从而自动创建了一个200G的速率。这种配置不仅降低了功耗，还确保高效的传输。

光模块使用概述

OSFP-400G-SR4光模块在400Gb/s ConnectX®-7/OSFP PCIe总线网卡中扮演重要角色，用于连接Quantum™-2 InfiniBand交换机内的单个800Gb/s双端口2x400G OSFP光模块（OSFP-SR8-800G）。

OSFP-400G-SR4光模块可支持2种不同速率，即400Gb/s和200Gb/s，具体取决于所使用的光纤跳线类型：

• 400Gb/s模式：配合MPO-12/APC光纤跳线使用，该模式要求对端的OSFP-SR8-800G光模块与2个OSFP-400G-SR4光模块配对使用，每个光模块连接到1个200Gb/s的ConnectX®-7/OSFP网卡。

• 200Gb/s模式：使用1-2分支MPO光纤跳线，OSFP-400G-SR4光模块以200Gb/s的速率（NIDR200）运行，由于只有2个通道被激活，只能自动降低功耗。在这种模式下，对端的OSFP-SR8-800G光模块可以与4个OSFP-400G-SR4光模块配对使用，每个光模块连接到1个200Gb/s的ConnectX®-7/OSFP网卡。

1. NDR InfiniBand Quantum™-2交换机 - 2 x 400G ConnectX®-7（OSFP）网卡

双端口OSFP-SR8-800G光模块器，配合2根直连的多模MPO-12/APC光纤跳线，最多支持2个ConnectX®-7/OSFP网卡。每个网卡使用1个OSFP-400G-SR光模块，可以实现最大传输距离为50m。

2. NDR InfiniBand Quantum™-2交换机 - 4x200G ConnectX®-7（OSFP）网卡

同上，双端口OSFP-SR8-800G光模块与两根直连的多模MPO-12/APC光纤跳线（M4MPOA12FB）配合使用，最多支持2个ConnectX®-7/OSFP网卡。每个适配器采用1个OSFP-400G-SR4光模块，可以实现最大传输距离为50m。ConnectX®-7/OSFP网卡与OSFP-400G-SR4光模块配合使用时，仅激活两个通道，建立一个200G速率链路，可自动降低功耗。

MFA7U10-H030 InfiniBand线缆

有源光缆（AOC）技术概述

飞速（FS）英伟达（NVIDIA）InfiniBand MFA7U10-H030兼容OSFP 400G转QSFP56 2x200G分支线缆是一种有源光分支光缆（AOC），将OSFP转换为2个QSFP56端口，实现400Gb/s到2个200Gb/s的速率。该线缆将单个OSFP端口的8对多模光纤的成对数据信号连接到每个QSFP56多端口端上的4对光纤。

光缆使用洞察

MFA7U10-H030线缆将具有OSFP端口的NDR交换机与2个HDR交换机或HCA QSFP56端口连接。

• NDR InfiniBand Quantum™-2交换机 - 2个HDR InfiniBand Quantum交换机

• NDR InfiniBand Quantum™-2交换机 - 2 x 200G QSFP56 Connect®-6网卡/BlueField-2 DPU

MTP光纤跳线

该MTP光缆是一根8芯无源多模光纤跳线，每个方向有4根独立的光纤。它采用8°倾斜研磨（APC）方式MTP连接器，最大程度地减少了光信号的反射并保证了信号的完整性。该光缆设计用于连接2个交换机或将交换机与2个网卡连接，支持可插拔的光纤400GbE/NDR光模块。

MTP光纤跳线专为连接两个交换机或建立交换机与2个网卡之间的连接而设计。该光纤跳线布线非常灵活，支持与可插拔的光纤400GbE/NDR光模块配对使用。例如，它可与用于InfiniBand和以太网系统的OSFP 800G 2xSR4双端口光模块在交换机端无缝集成。此外，当与ConnectX®-7网卡和BlueField-3 DPU配合使用时，它可与OSFP-400G-SR4或QSFP112-400G-SR4光模块搭配使用。

飞速（FS）测试简介

综合测试包括硬件兼容性测试（插拔、端口重启、电源重启）、软件兼容性测试（连接性、关闭/开启、参数测试）和性能测试（DDM、误码率、稳定性测试）。该链路已经以全速运行了一个星期，没有出现任何丢包、错误、CRC错误或中断。所有测试参数均符合相关行业标准。

总结

凭借对构建高性能InfiniBand网络的深入理解和广泛的实施经验，飞速（FS）为不同的应用场景提供理想的交换机、智能网卡和AOC/DAC/光模块的组合解决方案。飞速（FS）的产品和解决方案为数据中心、高性能计算、边缘计算等应用带来机遇优势和价值，以低成本和出色的性能实现业务加速迭代。