免费的开源模型市场随着一项宣布变得有趣得多。奥拉玛现在可以运行了HuggingFaceGGUF模型瞬间加载。
GGUF（GPT生成的统一格式）模型格式是由开源AI社区创建的一种高度优化的文件设计，旨在允许在各种设备上使用。请注意，原文中“on 4-bit”和具体设备信息缺失，因此此处只翻译了提供的部分文本内容。如果需要完整或特定上下文的翻译，请提供完整的源文本。 modest-sized消费级硬件.
典型的AI模型要求使用配备强大处理器和极大量内存的大计算机。通过将模型压缩成一个单一的GGUF文件，很容易在网上下载，并且可以在几乎任何一台不错的家用电脑上运行。更重要的是，它们也可以由非技术人员安装和运行。
之前，模型必须首先被提供出来通过Ollama库在您的笔记本电脑上运行和下载。这使得整个过程更加容易，HuggingFace表示将进一步简化这些步骤。
为什么GGUF格式如此重要？
❤️ 现在你可以使用 Ollama 在 🤗 Hugging Face 上运行模型。让我们一起开源和使用 Ollama 吧！🚀🚀🚀 https://t.co/xMRhM2QAt4 pic.twitter.com/LxJawetyhQ2024年10月16日
可以说，GGUF格式在增加开源AI的流行度和可用性方面做得比最近其他任何发展都要多，除了LlaMA模型家族的发布之外。元数据.
目前在HuggingFace上存储了超过500个GGUF模型文件可供选择，涵盖了从图像生成到多语言聊天模型的各种类型。
要利用该格式，用户通常需要下载他们选择的GGUF模型，并按照软件客户端的安装说明进行操作。
然而，HuggingFace（HF）提供的这个新选项更进一步——只要你已经拥有奥拉玛安装在您的机器上。
如何使用GGUF模型与Ollama？
在Ollama和OpenWebUI上运行来自Hugging Face Hub的GGUF模型 - YouTube
你所要做的就是找到您想要的模型在HuggingFace上，点击使用此模型按钮在页面右上角，和选择Ollama这将弹出一个窗口包含模型的URL地址（用于复制）.
在Windows中前往搜索栏，在命令提示符中输入‘cmd’以及按下回车键当终端窗口出现时，粘贴你刚刚复制的URL（Ctrl-V）和再次按下回车键此时，Ollama将自动下载模型并准备好使用。快速、简单且无痛。在Mac上的过程大致相同，只需将cmd替换为Terminal。
需要注意的是，这些GGUF文件也可以使用越来越多的用户客户端运行。其中一些最受欢迎的包括一月, LM工作室和Msty该格式也受到支持的开放Web界面聊天应用程序。
最终思考
免费开源AI模型的世界正以惊人的速度不断进步，部分原因是像这样的发展。越来越多的人发现，他们可以利用小型本地运行的AI的强大和灵活性，而无需拥有计算机科学学位。而且性能正在不断提高。
例如，有一群用户在增长，他们使用本地的GGUF模型来处理专业应用，如协助家庭生意或帮助进行特定语言的翻译任务。
看到开源项目在与风险资本支持的大公司的竞争中仍然蓬勃发展是一件好事。