革新数据中心网络架构：采用800G光模块与NDR交换机技术

随着大型模型、云计算和大数据分析等技术的快速发展，数据中心正经历一个爆炸性增长的时期。训练和部署大型模型的需求激增，为计算、存储和网络支持框架带来了新的挑战。像GPT-4这样复杂的深度学习模型的出现，以及在云端管理的密集型工作负载，以及大规模数据分析和高性能计算任务的需求，都要求数据中心网络具备强大且迅速的数据传输能力。

构建数据中心高速网络涉及多个关键组件，包括高速网卡、光模块、交换机以及高性能网络互连技术。在这个复杂的网络生态系统中，InfiniBand（IB）网络技术已成为市场领导者，成为实现高速数据传输和低延迟通信的重要手段。

InfiniBand网络技术中的NDR（400G）设备 已得到广泛应用，成为满足复杂模型和高性能计算需求的高速数据中心网络的理想选择。在交换机领域，NVIDIA公司的QM9700和QM9790系列处于领先地位。这些交换机基于NVIDIA Quantum-2架构构建，在标准1U机箱内提供了卓越的64个NDR 400Gb/s InfiniBand端口。这一突破意味着单台交换机能够提供高达51.2太比特每秒（Tb/s）的双向总带宽，并具有前所未有的处理能力，超过每秒665亿个数据包（BPPS）。

NVIDIA Quantum-2 InfiniBand交换机不仅具备NDR高速数据传输能力，还集成了庞大的吞吐量、芯片内计算处理能力、先进的智能加速特性、适应性和坚固的结构设计。这些特质使其成为高性能计算（HPC）、人工智能和大规模云基础设施等领域理想的解决方案。此外，集成NDR交换机有助于降低总体成本和复杂性，推动数据中心网络技术的进步与发展。

QM9700与QM9790的区别

与先前几代IB交换机类似，在NDR交换机中，QM9700是一款可管理型交换机，而QM9790则是一款非管理型交换机。两者功能上的区别在于：可管理型交换机会运行类似于普通以太网交换机的网络操作系统（NOS）。可以通过专用的管理端口直接访问和配置，并提供子网管理器（按需启用）的功能。相反，非管理型交换机在硬件层面上没有CPU，不运行NOS6。其配置是通过名为mlxconfig的远程配置工具完成的。以下是分别展示了QM9700（最右侧具有管理接口）和QM9700的图片:

两者在操作上也存在差异。QM9700作为可管理型交换机，允许直接登录进行配置管理。可以使用命令查询端口和模块信息，如下所示的示例：

• 查询端口信息：show interface ib 1/1/1（以端口1/1/1为例）。

• 查询端口模块信息：show interface ib 1/1/1 transceiver。

• 查询端口模块数字诊断监控（Digital Diagnostic Monitoring，DDM）信息：show interface ib 1/1/1 transceiver diagnostics。

对于非管理型的QM9790，配置管理是通过登录连接的服务器（或另一个可管理交换机）进行的。以下是具体步骤：

• 进入“fae”模式。

• 输入"ibswitches"以获取所连接设备的lid（例如使用lid-1）。

• 查询模块信息：mlxlink -d lid-1 -p 1 -m （查询端口1的模块信息）。

• 启用/禁用端口分割功能：mlxconfig -d lid-1 set SPLIT_MODE=1 （设置为0则禁用）。

• 对特定端口启用/禁用分割功能：mlxconfig -d lid-1 set SPLIT_PORT[1.32]=1 （设置为0则禁用该端口的分割功能）。

交换机侧模块：OSFP 800G光收发器

由于尺寸和功率限制，9700/9790系列交换机的端口笼（OSFP）数量上限为32个。实际上，每个OSFP物理接口提供了两个独立的400G接口，NVIDIA称之为双端口400G。为了与这些交换机配套使用，飞速（FS）公司推出了 OSFP-800G模块。了解更多有关800G光模块，请参阅：飞速（FS）400G/800G数据中心高速互联解决方案

OSFP-800G SR8模块设计用于在采用双MTP/MPO-12连接器、工作波长为850nm的多模光纤（MMF）系统中运行，适用于800Gb/s 2xNDR InfiniBand系统，在OM3光纤上实现高达30米距离的数据传输，在OM4光纤上可达到50米。该模块的双端口设计是一项关键创新，内部集成了两个收发器引擎，充分利用了交换机的潜力。这样，32个物理接口可以提供多达64个400G NDR接口。这种高密度和高带宽的设计使数据中心能够满足高性能计算、人工智能以及云基础设施等应用日益增长的网络需求与要求。

飞速（FS）的OSFP-800G SR8模块提供了卓越的性能和可靠性，为数据中心提供了强大的光互连选项。该模块使数据中心能够充分利用QM9700/9790交换机系列的全部性能潜力，支持高速带宽和低延迟的数据传输。