面试AI芯片启动Encharge声称其模拟人工智能加速器可以在使用一小部分功率时与桌面GPU竞争。至少在纸上令人印象深刻。现在是困难的部分:在现实世界中证明这一点。
这款服装拥有它为AI推断的新型内存计算体系结构,用模拟电容器代替传统晶体管,以比数字加速器(如GPU)获得20倍性能的优势。
根据首席执行官Naveen Verma的说法,Encharge的推理芯片可提供150最高额AI的计算以8位精度计算,仅在一瓦的功率上。将其扩展到4.5瓦,Verma声称它可以匹配桌面GPU,但功率为1/100。至少是球场。
但是,这并不是所有理论上的。Encharge的芯片是从维尔玛(Verma)在普林斯顿(Princeton)的实验室中脱出的,在美国国防高级研究项目局(又名DARPA)和台湾芯片工厂巨头TSMC的支持下,他们是在开发的。Verma告诉我们,BIZ现在已经录制了几芯,以证明建筑可以正常工作。
他说:“我们正在制造的产品实际上是基于我的研究实验室提出的基本技术。”“从根本上讲,我们确实有机会在这里查看AI计算的挑战是什么。”
拥有1亿美元的新系列B资金来自Tiger Global,RTX等人,Encharge计划今年晚些时候将其首次用于移动,PC和工作站的生产芯片胶带。
Verma声称真正的区别在于芯片处理计算的方式和地点。当今的绝大多数Genai计算都是使用许多多重累积单元或简称MAC完成的。
在传统体系结构中,它们是使用数十亿个晶体管门构建的,由于使用二进制数和零,最终以离散值运行。Verma认为,可以通过使用连续值而不是离散的值来改善这种方法,并提高效率和精确。
因此,Encharge的MAC是使用模拟电容器构建的,该电容器可以根据其电荷级别表示任意连续信号值。Verma说,由于电容器基本上只有两个用介电材料隔开的导体,因此可以使用现有的CMOS技术轻松地将它们蚀刻到硅中。
Encharge设计的第二个要素是模拟计算在内存中处理。
内存计算绝不是一个新概念。多年来,几家公司一直在根据该概念将AI加速器商业化。这个概念背后的想法是,通过嵌入计算的形式通常以一堆数学电路的形式嵌入内存中,可以计算出矩阵,而不是必须移动数据。
借助Encharge的设计,模拟电容器现在负责通过累加费用来执行此计算。
他说:“当您驱动这些电容器中的任何一个时,耦合的电容线的输出基本上就会达到信号的平均值。”“平均值是一个积累。它应该标准化您的平均条款数量。”
实现这一目标需要八年的研究和开发,不仅涉及内存模拟矩阵的开发,而且还累积了使它们可以编程所需的所有其他内容。
Verma说:“我们认识到,当您具有这些基本技术突破时,您必须做的事情也是建立完整的体系结构,并构建了所有软件。”
说到可编程性,Encharge的芯片支持从卷积神经网络到大语言和扩散模型背后的变压器体系结构的各种AI工作负载。
作为推理芯片,设计将根据目标工作量而有所不同。对于某些工作负载,诸如记忆能力和带宽等因素可能对性能产生比原始计算更大的影响。
例如,大型语言模型往往与内存能力和带宽相比,与可感知性能的影响相比,内存容量和带宽通常比其耗尽的顶部数量更大。因此,Verma说,针对此类工作负载的en Charghe芯片可能会减少模具区域来计算更大的内存总线空间。
另一方面,对于像扩散模型之类的东西,它不那么束缚内存 - 您可能想要更多的计算以更快地生成图像。
目前,由于易于采用,Encharge坚持使用M.2或PCIE加载卡。我们以前已经在此外形中看到了较低的功率加速器,例如Google的Coral TPU和Hailo的NPU。
Verma说,从长远来看,该技术可以适用于更大,更高的应用程序。“从根本上讲,增长到75瓦PCIE卡的能力等等。”
最初的生产encharch芯片预计将在今年晚些时候胶带胶带,尽管他指出,随着初创公司工作将芯片集成到客户的设计中并建立软件管道,他们将需要更长的时间才能看到广泛的采用。。®