AI模型可以通过新网络更快地训练吗？

在过去的好时光，网络都是关于连接少量本地计算机的。但是时代已经改变。在一个以AI为主的世界中，诀窍是协调成千上万的活动服务器训练大型语言模型，而不会延迟沟通。现在有一个优化的建筑可以做到这一点。Cornelis网络说其CN500网络织物最大化AI性能，支撑部署具有多达500,000台计算机或处理器的数量级，并且没有延迟。

新技术为网络世界带来了第三个主要产品以太网和Infiniband。它的设计旨在使AI-和高性能计算机（HPC，或超级计算机）以更高的效率实现更快，更可预测的完成时间。对于HPC，Cornelis声称其技术优于Infiniband NDR``2022年推出的版本每秒传递的消息是两倍，而延迟的延迟却降低了35％。对于AI应用程序，与基于以太网的协议相比，它提供了更快的六倍通信。以太网

长期以来一直是局部网络或LAN的代名词。软件补丁使其通信协议可以在时间测试中度过。Infiniband的发明是一种改进，但仍以相同的目标设计：连接少量本地设备。``当这些技术发明时，它们与平行计算无关。”菲利普·墨菲（Philip Murphy），总部位于宾夕法尼亚州的Cornelis的联合创始人，总裁兼首席运营官。

什么时候数据中心开始出现，工程师需要一个新的网络解决方案。由于不同的系统使用了不同的软件，因此它们无法共享资源，因此可以扩展以太网和Infiniband之类的产品来适应最繁忙的运营时期，这被证明是具有挑战性的。墨菲说。在不同的计算机甚至不同组织之间共享基于云的CPU成为解决方案。

但是，尽管数据中心的先驱试图最大化一台服务器上运行的应用程序数量，但墨菲和他的同事以一种相反的方法看到了价值：最大化的数量处理器在一个应用程序上工作。他说，这需要完全不同的网络解决方案，这就是Cornelis现在提供的。公司Omni-Path建筑，开发英特尔为了超级计算诸如模拟气候模型或用于药物设计的分子相互作用之类的应用，提供了零数据包丢失的最大吞吐量。

无拥堵数据公路

协调处理器训练AI模型需要在很高的带宽上交换许多消息数据包。每毫秒的消息率很重要，延迟也是如此，这意味着接收者需要多长时间响应。

在整个网络中共享如此多的数据包的一个主要挑战是交通拥堵。墨菲解释说，您需要一种可靠的路线包装包装的方法拥塞点没有创造其他问题。例如，如果数据包采用不同的路线到达同一目的地，则它们可能会失败。

Cornelis的动态自适应路由算法通过围绕短暂的拥塞事件进行路由来减轻交通拥堵，而其交通拥堵控制架构则在流行目的地周围路线交通。``如果我们所有人都想参加的一个体育场活动，那么您不希望经过体育场的交通也能被抓到那里。”墨菲说。中央起搏技术使这种拥堵控制架构。开关查看流量的形成位置，然后告诉发件人放慢速度，直到拥塞消散为止。墨菲解释说，想一想减轻通道上的交通。”墨菲解释说。

另一个挑战是避免潜伏期。在传统的以太网体系结构中，发送数据包需要在终点上足够的内存。``如果我寄给你，你的记忆就用完了，你必须回来告诉我，''墨菲说。这是一个长循环，需要大型缓冲区，这些缓冲区不可伸缩。相反，Cornelis使用一种称为基于信用的流量控制的算法，该算法预先分配内存。您不必告诉我任何事情，我会知道我还能发送多少。”墨菲说。

最后，如果GPU或链接失败，系统会避免磨碎。在传统体系结构中，如果服务器下降，则应用程序也是如此。修复它需要从最近的检查点重新启动，该检查点本身具有广泛的计算能力来创建。”墨菲说：“如果每次击中文档时，您都必须等待20分钟。”取而代之的是，由于它分布在多台计算机上，因此Cornelis Networks保持应用程序运行，尽管带宽略低，直到无法更换故障链接为止不需要检查点。

有效的AI

身体上，CN5000产品是围绕自定义芯片构建的网卡。墨菲解释说，网络卡插入了每台服务器中，您也可以将以太网卡插入PC。”墨菲解释说。每个服务器和其他交换机都有一个顶部的开关，并且导演课程交换机带有48或576个端口，可链接到机架开关。墨菲说：'每个服务器都插入了卡片，因此您可以构建数千个端点群集。”

该公司的主要市场是希望升级到新集群的组织或更快的HPC模拟。这是通过三个原始设备制造商Cornelis之一来完成的，这使服务器和网络交换机合作。OEM从Cornelis购买物理卡，并在履行订单之前将其插入服务器。

直到最近，培训神经网络模型还是一次性交易。但是现在，培训多元千万米的AI模型意味着反复进行微调或更新。Cornelis希望利用这一点。如果您不采用AI，那么您就会倒闭。墨菲说，如果您使用AI效率低下，您仍然会倒闭。我们的客户希望以最有效的方式采用AI。