微软今天公布了对其 Copilot 体验的重大改进，增加了语音和视觉功能，将其转变为更加个性化的人工智能助手。正如我上周在记事本时事通讯中独家透露的那样，Copilot 的新功能包括为您朗读头条新闻的虚拟新闻主持人模式、Copilot 能够看到您正在查看的内容以及让您以自然的方式与 Copilot 交谈的语音功能。方式，很像 OpenAI 的高级语音模式。
Copilot 正在针对移动、网络和专用 Windows 应用程序进行重新设计，打造出更加基于卡片的用户体验，并且看起来与 Inflection AI 及其 Pi 个性化 AI 助手所做的工作非常相似。微软今年早些时候从 Inflection AI 聘请了很多人，其中包括谷歌 DeepMind 联合创始人 Mustafa Suleyman，他现在是微软 AI 的首席执行官。这是 Suleyman 自接管 AI 助手的消费者端以来对 Copilot 的首次重大改变。
Suleyman 在今天的一封公开信中表示，在 Microsoft AI，我们正在为每个人创建一个 AI 伴侣。我坚信我们可以创造一个更平静、更有帮助和支持性的技术时代，这与我们以前见过的任何时代都截然不同。
Copilot 现在的外观与我之前在 Microsoft 看到的任何产品都不一样，其界面与现在的界面有很大不同。它更加温暖，具有个性化的 Copilot Discover 页面，比聊天机器人的文本输入提示更有用、更有吸引力。Microsoft 正在根据您的对话历史记录定制整个 Copilot 主页，随着时间的推移，它将包括有用的搜索、提示和相关信息。
微软今年早些时候将其消费者版本的 Copilot 分给了 Suleymans 团队，这显然允许该公司在个性和定制方面进行更多尝试。微软执行副总裁兼消费者首席营销官 Yusuf Mehdi 在接受采访时表示，我们从 Pi 团队和过来的 [Inflection AI] 人员那里学到的是，他们始终关注客户需求的细节。与边缘。他们倾听的方式以及他们从研究中的长时间对话中学到的东西无疑影响了我们在这里所做的事情。
除了这款新 Copilot 的外观和感觉之外，微软还通过添加与 OpenAI 在 ChatGPT 中引入的语音功能非常相似的语音功能，加大力度实现其为每个人提供人工智能伴侣的愿景。现在，您可以与人工智能助手聊天、向其提问并打断它，就像在与朋友或同事交谈时一样。Copilot 现在有四个语音选项可供选择，我们鼓励您在第一次使用更新后的 Copilot 体验时选择一个。
Mehdi 说，我们在语音上下了很大的赌注。当您按照我们设计的方式使用它时，您就会真正开始放飞自我并进行对话。然后你就会看到长期发展方向的曙光，人工智能可以真正帮助你，并看到你所看到的，如果你愿意的话。
Copilot Vision 是微软在此次重新设计中的第二个大赌注，它允许人工智能助手看到你在正在查看的网页上看到的内容。您可以向它询问有关您正在查看的文本、图像和内容的问题，并结合新的 Copilot 语音功能，它会以自然的方式做出响应。您可以在网上购物时使用此功能来查找产品推荐，从而使 Copilot 能够帮助您找到不同的选项。
Copilot Vision 会话是选择性加入且短暂的，微软表示 Copilot Vision 所涉及的任何内容都不会被存储或用于培训。这种新体验尚不适用于所有网站，因为 Microsoft 对 Copilot Vision 所使用的网站类型进行了限制。Copilot 团队表示，我们从有限的热门网站列表开始，以帮助确保每个人都能获得安全的体验。在预览期间，Copilot Vision 也无法处理付费内容和敏感内容。
尽管有免责声明，但 Microsoft 显然对 Copilot 中的这些新语音和视觉功能抱有长期愿景。一个演示显示 Copilot Vision 被用来查看旧手写食谱的照片，帮助解释食物是什么，并提供有关制作食谱需要多长时间的提示。微软今年早些时候为 Xbox 游戏展示了类似的辅助体验，展示了 Copilot 如何帮助您浏览 Minecraft。
Copilot 的下一阶段还包括 Copilot Daily，这是 Copilot 朗读的新闻和天气音频摘要，就像 CNN 主播一样。它被设计为您可以在早上收听的短片，并且仅使用来自已授权 Copilot 使用其内容的新闻和天气提供商的内容。微软最初正在与路透社、Axel Springer、赫斯特和金融时报合作，并计划随着时间的推移添加更多来源。
借助 OpenAI 的最新模型，Copilot 还可以处理更复杂的问题。Think Deeper 是 Copilot 的一项新功能，可以让助手花更多时间做出响应，从而能够为复杂问题提供逐步答案。当您试图并排比较两个选项时，它的设计效果最好，例如，我应该搬到纽约还是旧金山？
Think Deeper 仍处于开发早期阶段，微软正在将其放入 Copilot Labs，这是一种测试该公司仍在开发的实验性功能的新方法。Copilot Vision 最初也将成为实验室功能的一部分，参与者将能够提供有关体验的反馈。在最初的召回安全和隐私问题引起强烈反对后，微软显然对 Copilot Vision 的态度非常谨慎。微软上周透露，Recall 已经进行了彻底修改，改进了安全性和隐私选项，你甚至可以完全卸载该功能，或者一开始就不要打开它。
此更新的 Copilot 体验将于今天在移动 iOS 和 Android 应用程序、copilot.microsoft.com 网站以及 Copilot Windows 应用程序中提供。Copilot Voice 最初将在澳大利亚、加拿大、新西兰、英国和美国提供英语版本，之后将扩展到更多地区和更多语言。Copilot Daily 在扩展到其他地方之前仅限于美国和英国，而 Copilot Vision 将仅限于美国的一些 Copilot Pro 订户。
如果您像我一样想知道 Copilot 下一步的发展方向，微软新任人工智能首席执行官有一些宏伟的想法。随着时间的推移，它会适应您的习惯，并根据您的喜好和需求开发功能。苏莱曼说，我们并不是在创建静态工具，而是在建立动态的、突发的和不断发展的交互。它将陪伴您去预约医生、做笔记并在适当的时间进行跟进。它将分担您孩子生日聚会的规划和准备工作。它会在一天结束时帮助您思考棘手的人生决定。