自媒体写作的 QRIES 方法论,初学者如何写出让人信服的好文章

SambaNova 和 Hugging Face 通过一键集成使 AI 聊天机器人部署更加轻松

2024-11-06 20:57:10 英文原文

作者:Michael Nuñez

Credit: VentureBeat made with Midjourney

图片来源:VentureBeat 与 Midjourney 制作

加入我们的每日和每周时事通讯,了解有关行业领先人工智能报道的最新更新和独家内容。了解更多


桑巴诺瓦抱脸推出了一个新整合如今,开发人员只需单击一个按钮即可部署类似 ChatGPT 的界面,从而将部署时间从几小时缩短到几分钟。

对于有兴趣尝试该服务的开发人员来说,该过程相对简单。首先,访问SambaNova Cloud 的 API 网站并获取访问令牌。然后,使用 Python 输入以下三行代码:

将渐变导入为 gr导入 sambanova_gradiogr.load("Meta-Llama-3.1-70B-Instruct-8k",src=sambanova_gradio.registry,accept_token=True).launch()

最后一步是单击“部署到 Hugging Face”并输入 SambaNova 令牌。几秒钟之内,Hugging Face 的 Spaces 平台上就可以使用功能齐全的人工智能聊天机器人。

使用 SambaNova 和 Hugging Face 的新集成部署 AI 聊天机器人所需的三行代码。该界面包括“部署到 Huggingface”按钮,演示了简化的部署过程。(来源:SambaNova / 拥抱脸)

一键部署如何改变企业AI发展

– 这可以让应用程序在不到一分钟的时间内运行,而必须使用 API 提供商编写和部署传统应用程序,这可能需要一个小时或更长时间,具体取决于任何问题以及您对 API 的熟悉程度、阅读文档等”Gradio 的机器学习增长主管 Ahsen Khaliq 在一次独家采访中告诉 VentureBeat。

该集成支持纯文本和多模式聊天机器人,能够处理文本和图像。开发人员可以访问强大的模型,例如骆驼 3.2-11B-视觉-指导通过 SambaNova 的云平台,性能指标显示在不受限制的硬件上每秒处理速度高达 358 个令牌。

性能指标揭示企业级能力

传统的聊天机器人部署通常需要广泛的 API、文档和部署协议知识。新系统将这一过程简化为一个“部署到拥抱面部”按钮,从而有可能增加跨具有不同技术专业知识的组织的人工智能部署。

“Sambanova 致力于服务开发者社区,让他们的生活尽可能轻松。”SambaNova Systems 机器学习高级负责人 Kaizhao Liang 告诉 VentureBeat。– 访问快速 AI 推理不应有任何障碍,与 Hugging Face Spaces with Gradio 合作,开发人员可以利用 SambaNova 云的快速推理,并获得无缝的一键式应用程序部署体验。 –

该集成的性能指标(尤其是 Llama3 405B 型号)展示了重要的功能,基准测试显示无约束机架的平均功耗为 8,411 KW,这表明企业级应用程序具有强大的性能。

SambaNova 的 Llama3 405B 模型部署的性能指标,显示不同服务器配置的处理速度和功耗。无约束机架表现出更高的性能,但比 9KW 配置需要更多功率。(来源:SambaNova)

为什么这种集成可以重塑企业人工智能的采用

此次发布的时间恰逢其发展之际企业需求用于可以快速部署和扩展的人工智能解决方案。虽然科技巨头喜欢开放人工智能人择SambaNova 的面向消费者的聊天机器人已经占据了头条新闻,SambaNova 的方法直接针对开发人员社区,为他们提供与领先的 AI 界面的复杂性相匹配的企业级工具。

为了鼓励采用,SambaNova 和 Hugging Face 将于 12 月举办黑客马拉松,为开发人员提供新集成的实践体验。这一举措的出台正值企业越来越多地寻求实施人工智能解决方案的方法,而无需传统的广泛开发周期的开销。

对于技术决策者来说,这一发展为快速人工智能部署提供了一个引人注目的选择。简化的工作流程可能会降低开发成本并加快人工智能功能的上市时间,特别是对于希望实施对话式人工智能界面的组织而言。

但更快的部署带来了新的挑战。公司必须更加认真地思考如何有效地使用人工智能、将解决哪些问题以及如何保护用户隐私并确保负责任的使用。技术简单并不能保证良好的实施。

“我们正在消除部署的复杂性,”Liang 告诉 VentureBeat,“这样开发人员就可以专注于真正重要的事情:构建解决实际问题的工具。”

用于构建人工智能聊天机器人的工具现在足够简单,几乎任何开发人员都可以使用。但更困难的问题仍然是人类特有的:我们应该建造什么?我们将如何使用它?最重要的是,它真的能帮助人们吗?这些都是值得解决的挑战。

VB日报

保持了解!每天在收件箱中获取最新消息

订阅即表示您同意 VentureBeat 的服务条款。

感谢您的订阅。查看更多VB 时事通讯在这里

发生错误。

关于《SambaNova 和 Hugging Face 通过一键集成使 AI 聊天机器人部署更加轻松》的评论


暂无评论

发表评论

摘要

SambaNova 和 Hugging Face 推出了一项新的集成,使开发人员只需单击一下按钮即可部署类似 ChatGPT 的界面,将部署时间从几小时缩短到几分钟。该过程包括从 SambaNova Cloud 的 API 网站获取访问令牌,并使用三行 Python 代码在 Hugging Face 的 Spaces 平台上部署聊天机器人。这种简化支持纯文本和多模式聊天机器人,提供强大的模型,如具有高处理速度的 Llama 3.2-11B-Vision-Instruct。此次集成旨在满足寻求快速人工智能部署和可扩展解决方案的企业的需求,从而有可能降低开发成本并加快对话式人工智能界面的上市时间。