AI今天和明天的系列：HPC和AI - 当世界汇聚/碰撞时

欢迎来到本系列AI的第三个作品。这第一个是介绍和系列概述，下一个讨论了人工通用情报的理想目标，Agi。现在是时候对另一个及时的主题HPC用户对HPC和AI收敛的反应进行零。

我们在深入的采访中支持了大部分内容Intersect360研究与HPC和AI领导者一起。正如我在介绍列中所说的那样，该系列的目的不是确定。目的是为HPC-AI社区提供一系列有关AI的当前信息和意见。早些时候，没有人对AI进行最后的看法。总是欢迎评论[电子邮件保护]。

AI严重依赖HPC基础设施和人才

HPC和AI是共生物，创造陷入了紧密而有益的关系中。两者都生活在类似的HPC衍生的基础设施上，并不断地交换兄弟姐妹保持密切接触的兄弟姐妹。

• HPC基础架构使AI社区能够开发复杂的算法和模型，加速培训并在独奏和协作环境中进行快速分析。
• 源自HPC的共享基础架构元素包括基于标准的群集，消息串联（MPI和衍生品），高radix网络技术，存储和冷却技术等等。MPI forks在AI（例如MPI-BCST，MPIALLREDUCE，MPI_SCATTERV/CATHERV）中使用的叉子提供了远远超出基本解释器通信的有用功能。

  

• 但是，HPC送给AI的最大礼物是与平行性的数十年经验，因为摩尔在单线程处理器绩效中以法律为导向的进展已大大减速。

基础架构重叠深处。不久前，由Hyperscale AI领导者聘请了一个成功的领导级超级计算机互连网络的设计师，以重新设计公司的全球网络。我问他超级计算机和超大型开发任务有何不同。他说：“不多。原则是相同的。

该轶事说明了HPC对主流AI世界云服务提供商，社交媒体和其他超级大规模公司的另一个主要贡献：适应适应性的人的才华横溢的人需要HPC生态系统的元素到超大环境。在过去的十年中，这种人才迁移有助于推动主流人工智能市场的增长，即使其他有才华的人留下来推动HPC社区内的前沿AIâ促进领先者。

HPC和Hyperscale AI：数据差

社交媒体巨头和其他大型标准处于自然的位置，使AI球以严肃的方式滚动。他们有很多可用的客户数据来利用AI。相比之下，一些经济上重要的HPC领域（例如医疗保健）仍然很难收集足够的可用，高质量的数据来训练大型语言模型并提取新见解。

例如，据报道，UnitedHealth Group在马萨诸塞州剑桥的一个新设施上花费了5亿美元，这并不是偶然optum实验室包括梅奥诊所和约翰·霍普金斯大学在内的合作伙伴可以汇集数据资源和专业知识来利用Frontier AI。optum合作者现在可以访问可用（已识别，符合HIPAA的兼容性）数据超过3亿患者和医疗注册者。一个重要的目的是使HPC和AI能够通过快速筛选数百万名存档的患者记录来确定对与正在调查的患者紧密相似的患者取得了最大成功的治疗方法，从而使HPC和AI成为Precision Medicine的合作。

出于某些重要目的，制药行业还缺乏可用数据。一位制药公司告诉我，与精密医学研究所需的可用，高质量数据的供应相比是微不足道的。数据短缺问题扩展到了其他重要的HPC-AI领域，例如制造业。在这里，可用数据的短缺可能是由于数据筒仓（例如，供应链），缺乏标准化或简单稀缺性造成的。

这可能会对从HPC支持的产品开发到预测维护和质量控制的一切产生影响。

解决数据短缺

HPC-AI社区正在努力以多种方式纠正数据短缺：一个

• 不断发展的组织生态系统正在创建现实的合成数据，有望扩大数据可用性，同时提供更好的隐私保护和避免偏见。社区正在发展
• 更好的推论猜测能力。更大的推论 - 大脑应产生所需的模型和解决方案，并使用较少的培训数据。训练人类比黑猩猩更容易去最近的杂货店带回一夸脱的牛奶。
• 最近的DeepSeek新闻表明，除其他外，较小的，较少的（较少域特异性）模型这需要更少的培训数据以及更少的时间，金钱和能源使用。一些专家争辩多种小语言模型（SLM）可能比一个大语言模型（LLM）更有效。

有益的融合或可怕的碰撞？ 

HPC中心主管和对HPC-AI融合的态度差异很大。所有人都期望主流人工智能对HPC产生强大的影响，但期望从自信的乐观情绪到不同程度的悲观情绪。

乐观主义者指出，HPC社区已经成功地管理了具有挑战性的挑战，最终是有益的转变，例如从向量处理器迁移到X86 CPU，从专有操作系统转移到Linux，并将云计算添加到其环境中。他们说，社区已经将AI充分利用，并且会根据需要适应，即使改变将需要另一个重大努力。这种融合将带来更多美好的事物。某些HPC站点在利用AI来支持关键应用程序方面已经相差得很远。

悲观主义者倾向于担心HPC-AI的融合是一种碰撞，在该碰撞中，大型主流AI市场压倒了较小的HPC市场，迫使科学研究人员和其他HPC用户在为主流AI优化的处理器和系统上进行工作，而不是为高级AI和高级，基于物理学的模拟。尽管HPC用户过去不得不求助于技术市场的主流IT市场，但有理由引起人们的关注。正如某人在小组会议上指出了我在克拉科夫最近举行的EuroHPC峰会上主持的未来处理器体系结构时，HPC市场在财务上从来没有足够大的经济上的处理器，并且不得不从较大的主流IT市场借用更经济的处理器，尤其是X86 CPU和GPUS。

可能会使乐观主义者和悲观主义者在晚上保持不变的担忧

这是HPC-AI融合中的事物，似乎与乐观主义者和悲观主义者有关：

• 不足的访问GPU。GPU一直供不应求。一个令人担忧的是，高级标准的高级购买力是GPU的最大客户可能会使Nvidia，AMD和其他人难以证明接受HPC社区的订单是合理的。
• 向过货GPU的压力。一些HPC数据中心主管，尤其是在政府部门，告诉我们AI炒作是如此强大，以至于他们对下一代超级计算机的建议必须充满AI的提及。后来迫使他们遵循并购买更多的GPU和更少的CPU所需的CPU。
• 难以谈判系统价格。一位以上的HPC数据中心主管报告说，鉴于GPU短缺和超级评分者的出色购买力，以GPU为中心的HPC系统的供应商已不愿与他们进行惯常的价格谈判。
• FP64的持续可用性。一些HPC数据中心主管表示，他们无法保证FP64单元将从几年后的下一个超级计算机提供。对于许多主流AI工作负载和供应商而言，双重精度不是必不可少的，并且正在开发智能算法和软件仿真器，旨在以较低或混合的精度生产类似FP64的结果。

Preliminary Conclusion

这是在游戏初期，并且已经很明显AI在这里不再是另一个AI冬天。同样，没有什么可以阻止HPC-AI融合了。Even pessimists foresee strong benefits for the HPC community from this powerful trend.政府和学术环境中的HPC用户正在全速发展AI研究和创新，而HPC依赖的工业公司则可以预见，可以更加谨慎，但已经考虑了应用。Oil and gas majors, for example, are starting to apply AI in alternative energy research.航空公司行业告诉我们，在可预见的将来，AI将取代飞行员，但是由于今天的全球飞行员短缺，某些驾驶舱任务可能可以安全地卸载到AI。如上所述，存在一些真正的问题，但是我们与之交谈的大多数HPC社区成员都认为，HPC-AI融合是不可避免的，它将带来好处，HPC社区将适应这一转变，因为它必须先前的过渡。

BigDATAwire contributing editor Steve Conway’ s day job is as senior analyst with Intersect360 Research。Steve has密切追踪了十多年的AI开发项目，领导了全球政府机构的HPC和AI研究，与约翰·霍普金斯大学高级物理实验室（JHUAPL）共同撰写了美国高级军事领导人的AI Primer，并经常在AI和相关主题上讲话