AI巨人喜欢谷歌,,,,元和Openai可能会抓住所有的头条新闻,但在幕后是一个同样动荡且迅速扩展的生态系统。
可以在家庭计算机上运行的小型和专业人工智能模型的市场正在发烧,这是由于对个人和业务应用的需求似乎无限。
两年前通过Meta的开源推出骆驼模型并通过释放被点燃DeepSeek R1今年,这个自制的AI领域看起来正处于不可阻挡的轨迹上。
这些本地型号不仅更便宜,更私密,而且事实证明它们很容易以任何目的的方式自定义。
但是它们真的那么有用,还是只是一厢情愿的思考?我认为可能值得看看三个主要的假装来看看他们提供的东西。
DeepSeek
可以公平地说,没有比这种冲击中国产品所做的更多模型来加速当地的AI部门。免费,开源且功能强大,它是任何人都希望尝试使用新的AI应用程序的理想工具。
其爆炸性成功的主要原因有两个。首先,它可以使用极度适中的硬件运行,尤其是在较小的版本中。其次,它可以轻松地用于训练其他模型,以在称为AI蒸馏的过程中生产强大的AI模型混合体。
我目前最喜欢的是DeepSeek R1 Distill Llama 8B,该8B的尺寸为5.3 GB,足够小,可以在我的台式PC上运行,但提供了良好的性能,可以应对大多数日常任务。我目前的最爱是DeepSeek R1 Distill Llama 8b,尺寸为5.3 GB的小足够小,可以在我的桌面PC上运行,但提供了良好的性能范围,可以应对大多数日常任务。
这范围从基本聊天搜索,例如我如何从棉质T恤上清除污渍,处理税收查询或其他个人问题。因为它在我的计算机上本地运行,并且不需要互联网连接,所以我可以放心我的隐私,这很好。
QWEN
另一个不错的选择是QWEN型号。
我目前有三个版本的
QWEN 2.5
在我的PC上,特别是7B,14B和32B型号。只有最小的确实以可接受的速度运行,但是有时我会使用其他功能更强大的版本,如果我感觉足够耐心地等待响应。还有一个整洁的编码版本,该版本提供了免费的代码生成,用于创建小型简单的应用程序和实用程序。
骆驼
(图片来源:npowell/flux)
它仍然特别强大的一个领域是视觉。
所以我跑了骆驼3.2 vision扫描文档和破译图像。这听起来很愚蠢,但是使用此模型有数百种甚至数千个应用程序,从扫描汽车板到放射学。
我也有一个自定义调谐版本的骆驼3我喜欢使用一般知识。每个问题似乎始终如一地提供更详细和准确的回答。
要注意的点
关于使用本地型号有几件事要注意。第一个是新的几乎总是更好。人工智能开发正在以高速进步,即使六个月也可能意味着质量和性能的巨大差异。
同样重要的是要了解本地模型的使用意味着您不可避免地会遭受较小的上下文窗口的折磨 - 除非您的计算机有相当多的数量内存和功能强大的图形卡。
这可以限制它们对更复杂的任务的有用性,但随着技术的成熟,也正在缓慢变化。
底线
现在,市场上有大量的开源模型,因此每个人都应该有一些东西。
一个很好的起点是在开源模型目录上进行搜索拥抱脸。大多数模型可以安装并从霍拉马或lmstudio应用程序。