使复杂的文本易于理解：用双子座简化最低速度的文本

数字时代提供了越来越多的知识，但仍在复杂语言和专业术语背后的许多知识。尽管在专家话语中通常需要复杂性，但是当用户需要了解对生活至关重要的信息（例如浏览健康信息，了解法律语言或掌握财务细节）的信息时，它可能会成为障碍。让用户生成简化的复杂文本的工具，他们在网上遇到的复杂文本可以使他们能够在无法否则的情况下与这些文本互动。

今天，在基于LLM的文本简化及其对用户理解和认知负载的影响Google Research介绍了一个使用双子座模型专门设计最低率（高保真）文本简化。该系统的目的是在精心保留原始含义，细节和细微差别的同时提高清晰度。这与摘要（删除信息可以）或说明（通常添加信息）是一个独特的目标。我们还在Google应用程序的iOS应用中启动此系统，简化。

实现这一目标需要模型准确地解释复杂的想法，而无需引入错误或省略关键细节。重新编写的文本必须帮助读者理解具有挑战性的材料，而无需牺牲原始信息的完整性。

这项工作提供了两个主要贡献。首先，我们提出了一个新型系统，该系统具有自动化的评估和迭代及时的改进循环：这使双子座模型能够通过按比例迭代和速度不切实际地不切实际地通过手动及时优化来发现最有效的高保真文本简化。其次，通过一项严格的大规模随机研究，我们证明了简化文本可以衡量地提高用户的理解并减少认知负载。

双子座驱动的自动评估和及时精致系统

为了实现我们的目标，我们开发了一种自动化方法，利用双子座模型来评估简化质量和提示的自我重新启动。但是，在不牺牲含义或细节的情况下必须提高可读性必须提高可读性的提示，这是具有挑战性的。自动化系统通过实现发现最有效的提示所需的广泛反复试验来应对这一挑战。

自动评估

对于快速迭代而言，手动评估是不切实际的。我们的系统采用了两个新颖的评估组件：

1. 可读性评估：超越简单的指标弗莱施 - 卡塞德，我们使用双子座提示来以1-10的比例为文本可读性得分。这个提示是反对人类判断的迭代精致，使人们可以更加细微地评估理解。我们在测试中观察到，这种基于LLM的可读性评估与人类可读性评估比Flesch-Kincaid更好。
2. 保真度评估：确保保存意义至关重要。使用Gemini 1.5 Pro，我们实施了一个过程，该过程将原始文本索取到简化版本。此方法确定了特定的错误类型，例如信息丢失，增益或失真，每种错误都按严重程度加权，从而为原始含义（完整性和索引）提供了颗粒状的忠诚度量。

迭代及时改进：LLMS优化LLMS

最终简化的质量（由Gemini 1.5 Flash生成）在很大程度上取决于初始提示。我们通过及时改进循环：另一个Gemini 1.5 Pro模型使用自动eval得分以获得可读性和忠诚度，分析了简化提示的性能，并提出了下一次迭代的精制提示。

这创建了一个强大的反馈循环，其中LLM系统迭代地基于性能指标改善了自己的说明，从而减少了对手动及时工程的依赖，并促进了发现高效的简化策略。对于这项工作，循环进行了824次迭代，直到性能平稳。

一个自动化的过程，一个LLM评估另一个过程的输出，并根据性能指标（可读性和忠诚度）和颗粒状错误来完善其说明（提示）（提示），这代表了一个关键的创新。它超越了费力的手动及时工程，使系统能够自主发现在数百次迭代中的细微简化策略。

测量影响：一项大规模随机研究

为了验证通过这种方法简化文本的现实有效性，我们进行了一次随机对照研究。

研究设计

• 参与者：在筛选主题专业知识后，招募了大量4,563名同意参与者。
• 文字：我们在以复杂性知名的领域中使用了31种不同的现实世界文本摘录：医学研究，生物学，法律，金融，文学，哲学，航空和计算机科学。
• 比较：使用随机完整的块设计（一种研究设计，在考虑变化时进行比较的研究），随机分配参与者以读取原始文本，简化版本或两者兼而有之。为了评估文本简化对内容的短期保留的任何进一步影响，在两个条件下对用户进行了测试：一个可以在回答问题的同时将其引用到文本，一个可以将其引用。
• 测量：我们使用精心审查的多项选择问题（MCQ）评估了理解；自我报告的信心；和通过简化的认知负荷NASA任务负载索引。

结果

我们的研究涵盖了近50,000个MCQ答案，得出了统计上显着的结果，证明了简化的价值。

定量发现

与阅读原始内容相比，阅读简化文本的参与者总体上的MCQ准确性的绝对准确性达到了4％。对高度复杂的PubMed文本的影响最为明显，该文本的绝对准确性增长了15％。在金融（6％），合法（4％）和技术航空/计算机科学（4％）领域中也观察到了显着收益。即使参与者无法回到文本，这些收益也很强，这表明了立即理解和短期保留的好处。

除了准确性之外，参与者还报告了对答案的信心更高（在-2到2刻度上的平均提高0.24），并发现任务更容易（在-2到2比例尺上的平均提高0.33，从任务负载指数中简化了0.33）。

定性见解

审查示例，简化的参与者MCQ准确性显着提高了（一项医学研究文本38％）揭示了如何它增加了价值。与其简化版本相比，请考虑以下原始段落。简化通过定义行话（例如“肺气肿”和“纤维化”），打破了密集的句子并阐明复杂的关系来提高清晰度。

研究局限性

我们的研究虽然大规模，但却有局限性。我们利用一个调查平台来招募研究参与者，这可能无法完全反映一群积极寻求了解复杂信息的用户。尽管我们的系统旨在实现高保真度，但LLM错误是可能的，需要持续的警惕。最后，MCQ虽然可扩展，但却提供了不完整的深入理解。

作为新的简化功能可用

从今天开始该功能可在iOS的Google App上的新功能中提供，简化。要使用它，用户可以在Google应用程序中访问的网页上选择任何复杂的文本，然后点击“简化”图标，该图标似乎可以看到文本的新版本，而无需停止阅读或留下页面。这使人们更容易掌握他们在网络上学习新知识时可能遇到的新主题或复杂的主题。

结论

我们使用Gemini开发并严格验证了自动化系统，该系统迭代地学习以简化文本，同时保持对原始文本的保真度。通过明显地弥合复杂信息的理解差距，该能力可显着增强理解并减少关键领域用户的认知负担。

致谢

这项工作涉及由软件工程师，研究人员，临床医生和跨职能贡献者组成的跨学科团队的努力。Key contributors to this project include: Theo Guidroz, Jimmy Li, Adam Mansour, Paul Jhun, Nina Gonzalez, Xiang Ji, Mike Sanchez, Mathias MJ Bellaiche, Miguel Ángel Garrido, Faruk Ahmed, Divyansh Choudhary, Jay Hartford, Chenwei Xu, Henry Javier Serrano Echeverria, YifanWang，Jeff Shaffer，Eric（Yifan）Cao，Yossi Matias，Avinatan Hassidim，Dale R Webster，Yun Liu，Sho Fujiwara，Peggy Bui，Quang Duong。