作者:Tom Temin
技术就像飞轮。飞轮做很多工作,但是如果注入新能量,它们会放慢脚步。人工智能看起来像信息技术飞轮的能量。我的下一位客人已经调查过。比尔·瓦斯(Bill Vass)的首席技术官布兹·艾伦(Booz Allen)加入与汤姆·特林(Tom Temin)的联邦赛车讨论。
汤姆·特林您可以肯定地说,遵循技术多年,在云,数据中心以及政府和行业中。那么,您对我们与AI的去向有什么感觉?因为有很多热量。光线在哪里?
比尔·瓦斯请记住,AI的引擎是数据。我认为这是我们可以忘记的重要作品。因此,很长一段时间以来,它被称为新石油。但是我认为,数据在该领域的重力更大,因为您拥有的数据越多,这些参数越准确,并且随着时间的推移,模型就越准确。因此,当我开始大约10年,并且知道ML会增长时,我没有考虑到10年前的当时变形金刚模型或幻觉模型。但是我知道这将会发生,所以我非常专注于存储,这使得永远存放物品变得非常便宜。因为我知道,随着更多的内容连接,发生了更多的数据和更多的日志,因此您想永远存储它。然后,下一个焦点当然是可以轻松地将数据流传输并与物联网连接。物联网很长一段时间以来一直有很多希望,但实际上它现在开始回报了。然后,这可以输入两个数字双胞胎,您可以在云中进行虚拟模拟。然后,当您收集了很多数据时,您可以训练这些新的变压器模型来生成合成数据,这是手动完成的。当我们在亚马逊和其他地方进行机器人培训时,当我使用液体机器人技术在海洋中进行自主系统时,我们使用程序性能力和艺术家以及许多其他东西产生了大量的合成数据。现在,有一些来自Luna AI的东西,来自Openai的最新内容,而其他人则是人类的,实际上拥抱的脸只是上周发布的,可以生成3D合成数据,这些数据可以在3D环境中使用机器人和无人机工作。因此,创建合成3D环境是很大的。然后,当然,NVIDIA的宇宙推出了,它具有大量的合成和实际3D环境,可以在三个计算机问题上进行培训。然后有趣的是,AI使它成为了飞轮,然后您将所有这些训练数据,改进您的AI,改进软件系统,然后将其重新投入运行,从而生成更多数据,然后再次推动Flywheel。
汤姆·特林以及您对这种情况如何影响联邦机构正在使用的系统架构或任何大型客户的感觉是什么,因为人们正在重新思考云中的存储空间,并重新思考其数据中心可以为他们做些什么AI数据区域,因为他们想要数据的出处。正如您所说,长期存储,云可能不是最经济的选择。而且,如果您将数据留在处理附近,那么您如何?
比尔·瓦斯是的。因此,我认为这是存储最经济的选择。如果您拥有耐用的存储空间,那么自己进行耐用存储空间非常昂贵,因为您必须拥有三个物理数据中心,您可以在距离至少60公里的地方复制数据其他。为此设置网络并在AWS上获得存储单元的耐用性11/9。这很难自己做,而且非常昂贵。因此,您可以在冰川上便宜或便宜地做到这一点,例如,在S3冰川上的AWS上,它比您可以在Prem上存储的任何东西便宜得多。但是,越来越多的是,您需要在边缘进行推理甚至推理学习。这就是您开始将其视为软件的地方,一切都变成了软件定义,推动软件找到用于卫星的系统,用于无人机,汽车,为所有这些事物找到。在边缘收集并使用模型在边缘过滤的能力。因此,这也是一个重要的作品。将所有数据还给所有数据很昂贵。在安全摄像机上,您不需要在晚上每秒发送30帧。现在,您可以在这些小小的小型摄像机上使用相机上的ML例程,这是您在云上训练的25美元的25美元,以寻找变化。然后,当汽车在凌晨3点开车穿过停车场时,其余的四秒钟就被发送了。因此,您可以在这里发生很多事情。我认为这是一个激动人心的时刻,因为边缘变得更加强大。边缘的存储变得更加强大,但是云的同时也变得越来越强大。
汤姆·特林我们与比尔·瓦斯(Bill Vass)交谈。他是Booz Allen Hamilton的首席技术官。您对DeepSeek的评估是什么?并不是很深的寻求自己,而是他们据称具有在常规芯片硬件而不是在Nvidia上运行的强大模型的事实。这实际上是那么重要的还是不像我们想象的那样重要,或者也许真的很革命?比尔·瓦斯
好吧,我认为这很重要,因为我个人发挥了很多作用,我们一直在用沙盒和东西运行它。只是要知道,即使在他们的网站上,您的数据也可以追溯到中国。因此,任何使用它的人,如果您将模型拉下并在沙箱中运行当地的传感器,则可以使用它。这是亚马逊网络服务上的一个很好的例子,它们在可安全使用的沙箱中的基岩中提供了DeepSeek。因此,我确实鼓励人们尝试它。但是他们所做的事情很漂亮,在最长的时间里,我曾经经常赛车,而且曾经有一个老式的人说没有替代位移。因此,我们只是在竞争中建立更大的模型。我们只是一直添加GPU并添加GPU。直到有人说,这只是一个时间问题,我们要进站太多,无法充满汽油。我们需要使它们更有效地使用涡轮增压器或其他任何东西。因此,他们所做的就是做很多事情。他们做了所谓的专家混合,因此您不必经过完整的模型。它识别出不同类型的问题,然后不需要浏览所有内容的完整模型。该模型有专门的部分。他们做的第二件事是蒸馏。现在,有些人抱怨这是在作弊。因此,蒸馏使用的人是在大型型号上花费大量资金的人,然后向大型模型发送一堆问题,获取答案,然后培训有关问题和答案的培训,以绕过对巨型模型的需求。这就是他们做的另一件事。因此,其他人将钱花在GPU上,他们利用了这笔钱。因此,这很聪明。最后是他们在其中内置的这一思想组成部分,而大型模型的作用是他们有很多人,如果您想解决问题,它就列出了问题的步骤和模型从步骤和答案中学习。他们刚刚发送了问题和答案,并避免了很多步骤培训。因此,这些总是在亚马逊上,我还运行了视频游戏系统之类的东西。并进行实时3D图形,如果您愿意,请引用UnQuote condect。如果我现在正在渲染您的图像,我不会渲染您身后的东西来保存渲染引擎,因为我必须快速反应。因此,这些都是他们为减少事情而做的事情。现在,我个人不认为他们以600万美元的计算来做到这一点。我认为他们在这方面花费了更多。即使只是运行蒸馏,呼吁所有其他型号用您的模型训练,从而造成金钱,例如这些东西。但是在同一令牌上,该模型非常紧凑。我们能够在一张小的orin jetson卡上运行它,并奏效。现在很慢,每秒大约六个令牌。所以一个复杂的问题。花了大约11分钟的回应。但这是非常可用的,只要用户期望它会慢,仍然处于边缘状态。
汤姆·特林当然。另一个问题是,我们听到越来越多的术语是小语言模型。也许您不需要用地球上的所有数据训练它的想法,而只需要在您的领域进行训练。这似乎是政府需要注意的事情。
比尔·瓦斯是的,非常。变压器,尤其是您进行图像生成或图像检测,深击检测或其他类型的明显检测或图像处理的融合模型。拥有子集,边缘的小语言模型确实很重要。像布兹·艾伦(Booz Allen)一样,我们是第一家在国际空间站将变压器模型放在太空中的公司。这需要大量压缩才能使其在国际空间站进行操作。它的作用是有助于宇航员快速诊断系统的问题。因此,我们基本上为空间站填写了所有手册,以及足够理解问题背景的足够的变压器信息。而且它只是加快了他们的错误分辨率组件,并且在带有一些GPU和其他东西的小型HP服务器上跑到那里,但它远小于它。我们花了两天的时间上传它,只是为了给您一个主意。
汤姆·特林当然。对于计划经理来说,这只是一个实用的最后问题。您提出了许多有趣的技术,如果您一定可以成为它们的实践者,这些技术至少很容易概念化。计划经理需要知道什么,以了解AI如何真正帮助他们的程序,尤其是在每个人都在寻找提高效率的方式时?
比尔·瓦斯是的,我认为重要的是您还必须管理炒作。而且我认为我在Booz Allen上喜欢的一件事是,我们非常擅长实施模型。因此,使用它来帮助定义要求,它肯定会加快您在那里的速度。基本的编程任务肯定会加快您的速度。这不仅会为您写所有内容,但是在这些领域中,您会加快您对非结构化数据进行大量数据分析的速度加快速度。这肯定会加快您的速度。因此,有很多地方可以理解正确地应用它的地方,我们不用应用它。我认为关键是要了解并随着发展的发展而了解。就像我们与客户一起做的一件事一样,我们使用了Lama模型,我们将向其显示核心,并展示其扩展的事物称为Ragging,然后显示其从何处获得参考答案。因此,分析师可以查看这三个,并决定他们想相信哪个。以及模型的准确性。然后,在模型会犯错误的地方,我们将提供一个反馈循环来改善它。因此,这也是一个重要的作品。
版权©2025联邦新闻网。版权所有。该网站不适用于欧洲经济区域内的用户。