InfiniBand与以太网：它们是什么？

作为互连技术，InfiniBand和以太网各具差异，很难一概而论哪个更好。它们在不同的应用领域中持续发展，并成为网络世界中不可或缺的两种互连技术。

InfiniBand与以太网：它们是什么？

InfiniBand网络

从设计角度来看，InfiniBand和以太网之间的差异很大。作为网络互连技术，InfiniBand由于其高可靠性、低延迟和高带宽，在超级计算机集群中被广泛使用。此外，随着HPC的发展，InfiniBand也成为GPU服务器网络互连技术的理想选择。

为在4X线缆上实现10Gbit/s的原始数据传输速率，InfiniBand标准允许在每条通道上以2.5Gbit/s的基础速率传输单数据率（SDR）信号。单个通道可以分别扩展到5Gbit/s和10Gbit/s，并且最大数据传输速率在4X线缆上为40Gbit/s，在12X线缆上为120Gbit/s，从而使InfiniBand网络具备双数据率（DDR）和四倍数据率（QDR）信号。

以太网网络

自1980年9月30日引入以来，以太网标准已成为局域网中广泛使用的通信协议。与InfiniBand不同，以太网设计时主要考虑以下几个目标：如何在多个系统之间轻松传输信息？它是一个典型的分布和兼容性设计的网络。传统以太网主要使用TCP/IP构建网络，并逐渐发展为RoCE。

一般来说，以太网网络主要用于将多台计算机或其他设备（如打印机、扫描仪等）连接到局域网。它既可以通过光纤线缆将以太网网络连接到有线网络，也可以通过无线网络技术实现以太网网络在无线网络中的连接。快速以太网、千兆以太网、10千兆以太网和交换式以太网都是主要的以太网类型。

InfiniBand与以太网：它们之间的差异是什么？

高性能计算场景中的集群数据传输瓶颈是InfiniBand的原始设计目标，它已成为符合时代要求的互连标准。因此，InfiniBand和以太网在带宽、延迟、网络可靠性、网络技术和应用场景等方面存在许多差异。

带宽

自InfiniBand问世以来，InfiniBand网络的发展速度一直比以太网更快。主要原因是InfiniBand应用于高性能计算中服务器之间的互连，并减轻CPU负载。然而，以太网更多地面向终端设备互连，对带宽的需求不是太高。

对于超过10G的高速网络流量，如果所有数据包都要解包，将消耗大量资源。第一代SDR InfiniBand的运行速率为10Gbps，除了增加数据传输带宽和减少CPU负载外，还允许高速网络传输以卸载CPU和增加网络利用率。

网络延迟

在网络延迟方面，InfiniBand和以太网的表现也非常不同。以太网交换机通常采用存储-转发和MAC表查找寻址作为网络传输模型中的第二层技术。而以太网交换机的处理流程必须考虑如IP、MPLS和QinQ等复杂服务，耗费时间较长。

另一方面，对于InfiniBand交换机来说，第二层处理非常简单。只有16位的LID可以用来搜索转发路径信息。同时，利用Cut-Through技术并行处理，将转发延迟显著缩短至小于100ns，明显快于以太网交换机。

网络可靠性

由于数据包丢失和重传影响高性能计算的整体性能，需要一个高度可靠的网络协议来确保网络在机制层面上无丢包，并实现其高可靠性。InfiniBand通过自定义的第一层到第四层格式，构建了一个完整的网络协议。端到端的流量控制是InfiniBand网络数据包发送和接收的基础，可以实现无丢包的网络。

与InfiniBand相比，以太网网络没有基于调度的流量控制机制。因此，在发送数据包时无法保证对端是否会出现拥塞。为了能够吸收网络中突发的瞬时流量增加，需要在交换机中开辟数十MB的缓存空间来临时存储这些消息，这将占用芯片资源。这意味着具有相同规格的以太网交换机的芯片面积显著大于InfiniBand芯片，不仅成本更高，而且消耗更多功率。

网络模式

在网络模式方面，InfiniBand网络比以太网网络更容易管理。SDN的逻辑已经在InfiniBand中设计实现。每个InfiniBand第二层网络上都会有一个子网管理器，用于配置网络节点的ID，通过控制平面统一计算转发路径信息，并将其发放给InfiniBand交换机。为了完成网络配置，这样的第二层网络必须在没有任何配置的情况下进行配置。

以太网网络使用自动生成MAC表的网络模式，IP必须与ARP协议配合使用。此外，网络中的每个服务器必须定期发送数据包以确保条目实时更新。为了划分虚拟网络并限制其规模，必须实现VLAN机制。然而，由于以太网网络本身缺乏条目学习机制，会导致环路网络。避免网络转发路径中出现环路，必须实现STP等协议，这增加了网络配置复杂性。

应用场景

由于其高带宽、低延迟和对并行计算的优化支持，InfiniBand在高性能计算（HPC）环境中被广泛应用。它专为处理HPC集群通信需求而设计，其中大规模数据处理和频繁的节点间通信至关重要。而以太网则常用于企业网络、互联网接入和家庭网络，其主要优势是低成本、标准化和广泛支持。

近年来，对大规模计算能力的需求激增，推动了机器内部的高速通信以及超大规模集群中机器间低延迟、高带宽的通信需求。根据Top500超级计算中心的用户统计数据，IB网络在前10和前100个中心中发挥着关键作用。例如，OpenAI利用在Microsoft Azure中构建的IB网络训练CHATGPT，大幅增加了对大型超级计算中心的需求。

选择合适的InfiniBand产品

从上述InfiniBand和以太网的比较来看，InfiniBand网络的优势非常突出。InfiniBand网络的快速迭代，从SDR 10Gbps、DDR 20Gbps、QDR 40Gps、FDR 56Gbps、EDR 100Gbps到如今的800Gbps InfiniBand，都得益于RDMA技术。

飞速（FS）推出众多InfiniBand产品，包括InfiniBand光模块&高速线缆、InfiniBand网卡和InfiniBand交换机。

InfiniBand光模块&高速线缆

飞速（FS）提供丰富的40G-200G InfiniBand光模块&高速线缆，以提升计算和存储基础设施的高效互连。

InfiniBand网卡

飞速（FS）的InfiniBand网卡提供高性能和灵活的解决方案，旨在满足数据中心应用不断增长的需求。除了旧版的所有功能之外，ConnectX-6和ConnectX-7网卡还提供了一系列增强功能，进一步提高性能和可扩展性。

InfiniBand交换机

InfiniBand交换机，NVIDIA Quantum/Quantum-2提供了高达200Gb/s、400Gb/s的高速互连，超低延迟和可扩展性，加速了开发人员和科学研究人员的研究、创新和产品开发。

结论

InfiniBand和以太网之间存在适用的应用场景。由于InfiniBand网络带来的速率显著增加，CPU不需要为网络处理牺牲更多资源，从而提高了网络利用率，使得InfiniBand网络成为高性能计算行业主要网络解决方案。未来还将出现1600Gbps GDR和3200Gbps LDR的InfiniBand产品。如果数据中心节点之间对通信延迟没有高要求，灵活的接入和扩展更为重要，那么可以长期选择以太网网络。