全部新闻
2025-02-24 22:01:50
2025-02-24 20:50:18
2025-02-24 20:07:00
这个男人说神经网络可能已经有意识的男人，这家300亿美元的AI创业公司很奇怪
2025-02-24 19:54:05
Ilya Sutskever的新企业安全超级智能已筹集了10亿美元，并在没有提供任何产品的情况下达到了300亿美元的估值。该公司计划创建安全的超智能AI，但尚未详细介绍如何与该领域的其他人区分开。评论家认为，人工通用情报（AGI）仍然遥不可及，引发了有关公司雄心勃勃的目标和估值的疑问。
Ilya Sutskever的新企业安全超级智能已筹集了10亿美元，并在没有提供任何产品的情况下达到了300亿美元的估值。该公司计划创建安全的超智能AI，但尚未详细介绍如何与该领域的其他人区分开。评论家认为，人工通用情报（AGI）仍然遥不可及，引发了有关公司雄心勃勃的目标和估值的疑问。
6常见的LLM自定义策略简要解释|迈向数据科学
2025-02-24 19:27:50
###摘要：自定义大型语言模型（LLMS）本文概述了定制大型语言模型（LLM）的六种基本策略，以更好地适合特定用例和要求：1。**提示工程**：制作提示，使用令牌化，前缀调整，软提示令牌和人类在循环的反馈中，从LLM中引起LLM的所需响应。2。**解码策略**：修改推理期间的解码过程（例如，光束搜索，顶部K采样）来控制输出长度，多样性和相关性。3。**检索提升的生成（RAG）**：通过集成外部知识源（文档或数据库）来增强模型性能，使用诸如跨编码器评分的技术来进行文档检索和动态的上下文感知提示。4。**基于代理的自定义**：利用代理来管理与LLMS的交互，处理任务，诸如任务分解，及时优化和基于特定于代理的要求进行微调。5。**微调**：使用培训数据集，超参数和评估指标将预训练的模型调整为特定领域或任务。讨论了教学微调和域适应性等技术。6。**从人类反馈（RLHF）学习的强化学习**：通过使用偏好数据集和奖励模型，通过增强学习基于人类偏好的微调LLM。RLHF有助于将模型响应与人类价值保持一致，但需要大量注释的数据和计算资源。###关键要点 - 每个策略都有独特的优势和缺点。 - 实施这些策略涉及选择正确的工具和库（例如，拥抱Face的微调变压器，用于rlhf的TRL库）。 - 提供了实际示例来说明如何有效地应用每种自定义方法。###实施示例1。**提示工程**： - 令牌化：将提示分解为令牌序列。 - 前缀调整：仅对模型的及时层进行微调。 - 软提示令牌：推理过程中动态修改提示令牌。2。**解码策略**： - 光束搜索：生成多个候选输出，并根据评分函数选择最佳的输出。 - TOP-K采样：根据其概率从顶部K中选择接下来的单词。3。**检索演说一代（抹布）** - 跨编码器评分：使用跨编码器模型在查询和文档之间获得相关性。 - 动态提示生成：使用检索的文档创建上下文感知提示。4。**基于代理的自定义**： - 任务分解：将复杂的任务分解为更简单的子任务，以通过LLMS有效处理。 - 及时优化：针对特定于特定域或应用程序的性能的微调特定提示。5。**微调**： - 使用拥抱Face的“ Trainer”课程通过培训数据集，超参数（例如学习率）和评估指标来实施微调。6。**从人类反馈（RLHF）学习的强化**： - 利用TRL库的RLHF的PPO培训师，包括设置基本模型和令牌，配置PPO超级参数以及迭代用奖励更新模型。###实用应用 - 了解这些策略有助于根据特定项目需求选择最合适的方法。 - 组合多种自定义技术可以导致针对各种用例量身定制的更强大，有效的LLM应用程序。通过探索和实施这些自定义，开发人员可以增强LLMS与预期目的的性能和一致性，从而使其更有效地用于广泛的应用程序。
###摘要：自定义大型语言模型（LLMS）本文概述了定制大型语言模型（LLM）的六种基本策略，以更好地适合特定用例和要求：1。**提示工程**：制作提示，使用令牌化，前缀调整，软提示令牌和人类在循环的反馈中，从LLM中引起LLM的所需响应。2。**解码策略**：修改推理期间的解码过程（例如，光束搜索，顶部K采样）来控制输出长度，多样性和相关性。3。**检索提升的生成（RAG）**：通过集成外部知识源（文档或数据库）来增强模型性能，使用诸如跨编码器评分的技术来进行文档检索和动态的上下文感知提示。4。**基于代理的自定义**：利用代理来管理与LLMS的交互，处理任务，诸如任务分解，及时优化和基于特定于代理的要求进行微调。5。**微调**：使用培训数据集，超参数和评估指标将预训练的模型调整为特定领域或任务。讨论了教学微调和域适应性等技术。6。**从人类反馈（RLHF）学习的强化学习**：通过使用偏好数据集和奖励模型，通过增强学习基于人类偏好的微调LLM。RLHF有助于将模型响应与人类价值保持一致，但需要大量注释的数据和计算资源。###关键要点 - 每个策略都有独特的优势和缺点。 - 实施这些策略涉及选择正确的工具和库（例如，拥抱Face的微调变压器，用于rlhf的TRL库）。 - 提供了实际示例来说明如何有效地应用每种自定义方法。###实施示例1。**提示工程**： - 令牌化：将提示分解为令牌序列。 - 前缀调整：仅对模型的及时层进行微调。 - 软提示令牌：推理过程中动态修改提示令牌。2。**解码策略**： - 光束搜索：生成多个候选输出，并根据评分函数选择最佳的输出。 - TOP-K采样：根据其概率从顶部K中选择接下来的单词。3。**检索演说一代（抹布）** - 跨编码器评分：使用跨编码器模型在查询和文档之间获得相关性。 - 动态提示生成：使用检索的文档创建上下文感知提示。4。**基于代理的自定义**： - 任务分解：将复杂的任务分解为更简单的子任务，以通过LLMS有效处理。 - 及时优化：针对特定于特定域或应用程序的性能的微调特定提示。5。**微调**： - 使用拥抱Face的“ Trainer”课程通过培训数据集，超参数（例如学习率）和评估指标来实施微调。6。**从人类反馈（RLHF）学习的强化**： - 利用TRL库的RLHF的PPO培训师，包括设置基本模型和令牌，配置PPO超级参数以及迭代用奖励更新模型。###实用应用 - 了解这些策略有助于根据特定项目需求选择最合适的方法。 - 组合多种自定义技术可以导致针对各种用例量身定制的更强大，有效的LLM应用程序。通过探索和实施这些自定义，开发人员可以增强LLMS与预期目的的性能和一致性，从而使其更有效地用于广泛的应用程序。
2025-02-24 18:43:31
2025-02-24 18:42:00
Endor Labs：AI透明度与“开放洗”
2025-02-24 18:18:27
Endor Labs的专家正在辩论AI中“开放性”的真正含义，因为该行业专注于透明度和安全性。安德鲁·斯蒂夫尔（Andrew Stiefel）强调将软件安全原则应用于AI系统，并主张AI相当于软件材料清单（SBOM），以提高对模型数据集和培训过程的可见性。朱利安·索布里尔（Julien Sobrier）强调了定义“开放” AI模型的矛盾之处，强调需要在整个开发链中对开源组件的需求，并警告“开放洗净”。DeepSeek通过其模型朝着更大的透明度迈进，被视为在管理安全风险和促进初创企业之间的创新方面迈出的一步。开源AI模型的趋势正在引起关注，但它也需要采取系统的风险管理方法，包括发现，评估和安全采用的响应措施。
Endor Labs的专家正在辩论AI中“开放性”的真正含义，因为该行业专注于透明度和安全性。安德鲁·斯蒂夫尔（Andrew Stiefel）强调将软件安全原则应用于AI系统，并主张AI相当于软件材料清单（SBOM），以提高对模型数据集和培训过程的可见性。朱利安·索布里尔（Julien Sobrier）强调了定义“开放” AI模型的矛盾之处，强调需要在整个开发链中对开源组件的需求，并警告“开放洗净”。DeepSeek通过其模型朝着更大的透明度迈进，被视为在管理安全风险和促进初创企业之间的创新方面迈出的一步。开源AI模型的趋势正在引起关注，但它也需要采取系统的风险管理方法，包括发现，评估和安全采用的响应措施。
困惑想通过AI重新发明网络浏览器，但是有激烈的竞争
2025-02-24 18:18:26
困惑最近推出了新产品，包括深入的研究工具和用于生成AI驱动的搜索的API，名为Sonar。但是，它面临Google的Chrome浏览器和浏览器公司DIA浏览器的激烈竞争，该浏览器将自然语言命令纳入其界面。面向消费者的AI工具通常有三种形式：通用聊天机器人，现有软件中的巧妙集成了深度学习功能，以及独立的AI增强应用程序。希望在接下来的几年中看到更多的AI特定应用程序。
困惑最近推出了新产品，包括深入的研究工具和用于生成AI驱动的搜索的API，名为Sonar。但是，它面临Google的Chrome浏览器和浏览器公司DIA浏览器的激烈竞争，该浏览器将自然语言命令纳入其界面。面向消费者的AI工具通常有三种形式：通用聊天机器人，现有软件中的巧妙集成了深度学习功能，以及独立的AI增强应用程序。希望在接下来的几年中看到更多的AI特定应用程序。
手机上的AI不断越来越好 - 这是旅行公司的风险
2025-02-24 17:52:00
WestCap的执行合伙人Laurence Tosi警告说，智能手机上的AI提高了AI，可以通过消除用户访问专用的旅行网站或应用程序的需求来破坏旅行行业。他建议这项技术可以提供更个性化和高效的搜索体验，并可能解散了当前的业务模型。最近的发展，例如Perpolxity与TripAdvisor和OpenAI的数字助理的合作，进一步说明了AI如何发展以满足用户需求而不依赖传统平台。TOSI质疑未来的主导地位是否位于OS级AI或单个旅行公司应用程序中。
WestCap的执行合伙人Laurence Tosi警告说，智能手机上的AI提高了AI，可以通过消除用户访问专用的旅行网站或应用程序的需求来破坏旅行行业。他建议这项技术可以提供更个性化和高效的搜索体验，并可能解散了当前的业务模型。最近的发展，例如Perpolxity与TripAdvisor和OpenAI的数字助理的合作，进一步说明了AI如何发展以满足用户需求而不依赖传统平台。TOSI质疑未来的主导地位是否位于OS级AI或单个旅行公司应用程序中。