作者:Author: Mark Hachman, Senior Editor, PCWorld
当人们考虑AI时,他们经常考虑在Chatgpt或Google Gemini等云中运行的模型。但是,这是Microsoft刚刚实施的PC上运行本地AI的一种非常简单的方法。
微软在过去一周宣布了Microsoft Foundry Local在其构建会议上。它基本上是一种命令行工具,可在计算机上本地运行LLMS。尽管最初是针对开发人员的,但它是尝试本地AI的最简单方法之一,仅仅是因为它为您带来了一切。而且它也可以做其他事情:它优化了您的PC。
您不使用的窗户最酷的功能之一就是所谓的Winget,就像应用程序一样。您只需打开命令行和“您想要的withet”,而不是导航到网站或Microsoft Store,找到下载链接并告诉Windows应该去哪里。Windows和Microsoft自动为您做所有其他工作。您也不必在第三方网站上登录。
Foundry AI本地作品以相同的方式作品。您需要做的就是基本上剪切并粘贴本文的两个命令,您将立即启动并运行。在这里如何做Microsoft的帮助。微软做不是说你需要专用的GPU或NPU,但确实有帮助。本质上,您需要Windows 10或11,至少8GB RAM和3GB存储(建议与15GB的磁盘空间一起使用16GB RAM)。Copilot+ PC是可选的,但是您将受益于高通Snapdragon X Elite处理器,NVIDIA RTX 2000系列,AMD Radeon 6000系列GPU或更新。
马克·哈曼 /铸造厂
要使用本地铸造厂,首先您想
1.)打开一个命令行终端。只需键入Windows键并开始键入端子。您应该在建议的应用程序列表中看到Windows终端应用程序弹出,尽管它也可能显示为Windows PowerShell。这并不重要。
2.)在提示下,输入:
Winget安装Microsoft.FoundRylocal
您必须等待一两分钟,而必要的文件下载。但是微软会为您处理一切。
3.)Microsoft建议运行PHI-3.5-MINI模型,这是一个不错的选择:它很小,很快下载,并且可能会为您提供快速的响应。要下载并运行它,请输入:
铸造模型运行PHI-3.5-MINI
这就是您需要做的。然后,您将看到终端应用程序基本上告诉您输入一个提示,例如火星上的天蓝色?或其他东西。
4.)您也不必仅坚持使用PHI-3.5-Mini型号。您可以输入
铸造模型列表
并获取可用型号的列表。只需将phi-3.5-mini与其中一种可用的型号交换,您就可以了。(使用左侧列中的模型名称,但不汗水 - 它似乎知道我想要什么。)
同样,尽管Phi-Mini模型坚持认为它正在与Microsoft进行处理以处理信息,但Foundry Local AI的好处是,您的PC本地是本地的。(要仔细检查,我将PC放入飞机模式。)它也快速而高效,部分原因是Foundry AI本地下载是您的PC的最佳型号。如果您有可用的NPU或GPU,则选择正确的版本。
Foundry AI本地是为开发人员设计的,因此您可以分支机构转换其他型号对于您可以在PC上运行的东西,甚至假设地挖掘出“执行任务”的代理。我查看的示例视频建议使用诸如使用文本提取器窗口小部件提取文本的内容,该窗口正在内置在Windows剪切工具中。您可以很好地使用它。
我在那之前争论硬件制造商和芯片制造商需要投资于本地AI应用程序开发。英特尔的AI游乐场只是这样,它简单易用。但是英特尔将其限于自己的处理器系列的一部分,归根结底,它仅针对英特尔处理器进行了优化。
马克·哈曼 /铸造厂
Microsoft Foundry AI Local向所有人开放,但现在也只是LLM聊天机器人。这很方便,微软实际上才刚刚开始进行。我们可以看到添加艺术吗?在您自己的文档上上传和训练模型的能力?谁知道。
我不是在这里告诉你,铸造ai本地比在云中运行的chatgpt,gemini或副驾驶要好。不是。Foundry AI Local是一个基于本地文本的应用程序,它可以做任何事情,而不是一堆可用的基于云的服务。但是它非常快速,易于运行,微软正在悄悄地将其构建到窗户中。这可能在将来有效。
马克在过去十年中为PCWorld撰写了撰写,拥有30年的涵盖技术经验。他仅撰写了3500多种PCWorld文章,其中包括PC微处理器,外围设备和Microsoft Windows等主题。马克曾为PC杂志,Byte,Eweek,Pocul Science和Electronic买家新闻等出版物撰稿,在那里他分享了Jesse H. Neal的突发新闻奖。最近,他交出了数十个Thunderbolt码头和USB-C枢纽,因为他的办公室根本没有更多的空间。