DORA 2024：人工智能和平台工程的不足

根据最新的年度报告，虽然人工智能和平台工程可能会让开发人员在工作中感到更有效率和满意度，但它们可能会导致创建更慢、更不稳定的软件。朵拉研究团队。

在其成立的第十个年头，– 2024 年加速 DevOps 状态，—更常见的名称是朵拉报告，继续探索团队如何更好地交付和运营软件，以努力提高组织绩效和福祉。

除了通常的指标外，今年的报告还深入探讨了三个日益相互关联的趋势主题：

• 人工智能及其对工作场所的影响。
• 平台工程。
• 开发者经验（DevEx）。

新堆栈坐下来内森·哈维Google Cloud 的 DORA 团队负责人谈论了该报告中的一些要点，该报告汇总了近 3,000 名技术员工的反馈。Google 的 DevOps 研究和评估 (DORA) 团队对现状有很多话要说开发运营2024 年，哈维分享了他对人工智能和平台工程为何可能产生意想不到的副作用的想法。– 我们看到的是，承担更多人工智能功能并使用更多人工智能的工程师或团队往往会拥有更好的心流时间；

“他们看到了个人生产力水平的提高。”哈维告诉 The New Stack。

然而，我们没有看到的是，当谈到能够快速、安全地交付软件时，某些生产力、时间和流程会产生良好的下游影响。事实上，当我们看到团队越来越多地采用人工智能时，这实际上不利于他们的软件交付绩效指标。”

人工智能：仍未发挥其潜力

DORA 通常是同义词四个软件性能指标。其中两个（部署频率和变更交付时间）衡量吞吐量，而另外两个（变更失败率和失败部署恢复时间）衡量稳定性。过去 10 年里，在某项方面表现出色的公司，在所有四项方面都表现出色，而在一项方面得分不佳则意味着您的组织很可能在所有四项方面得分都很差。

除了这四种著名的方法之外，DORA 还涵盖了软件团队和工程组织可以理解和衡量其软件交付实践结果的一系列社会技术方法。然后，它包括有关每个团队如何解释这些数据并采取行动的建议。

2024 年 DORA 研究询问超过 100 个调查问题大约七项主要成就和成果：

• 减少倦怠。
• 流动。
• 工作满意度。
• 组织绩效。
• 产品性能。
• 生产率。
• 团队表现。

“在交付软件时，我们必须考虑我们采用了哪些技术实践、哪些流程，”哈维说。– 最根本的是，您的组织文化是什么？ –

考虑到这一点，DORA 每年都会深入研究至少一个可能影响您分数的大趋势。十年前，是云计算的影响。毫不奇怪，DORA 2024 首先关注人工智能对软件开发的影响。

令人惊讶的是，结果仍然好坏参半，至少对于将整个 DevEx 预算押在人工智能上的工程领导层来说是这样。

最值得注意的是，今年的 DORA 报告发现，人工智能采用率的增加使交付稳定性降低了 7.2%，交付吞吐量降低了 1.5%。

人工智能对软件开发生命周期有显着的好处，包括代码质量提高 3.4% 和代码审查速度提高 3.1%。但目前这些好处并没有一直传递到交付。

——这绝对不是一个均衡的权衡。而数据并不能真正告诉我们原因，”哈维说。“您不会看到这些人工智能的影响贯穿始终。”

人类开发人员可以维护人工智能生成的代码吗？

由于每个组织都是独一无二的，DORA 报告提供了研究人员希望团队在其组织中进行测试的数据、趋势和后续假设。

“我们知道交付软件非常复杂，我们怀疑人工智能所做的可能是在开发过程的早期阶段提供帮助，”哈维说，比如文档和代码审查，但并没有解决问题对于后面的部分。如果能够预先更改某些内容，而无法在下游抵消或消化该更改，则可能会产生一些负面影响。

目前的大部分关注点都集中在生成式人工智能的核心是代码生成，这是软件开发生命周期的开始。这也是开发人员所说的想花更多时间做，而不是他们希望自动化的东西。

“生成代码很少（如果有的话）成为向用户提供代码的瓶颈，”Harvey 说。“一个假设是，我们只是在这个过程中过早地使用人工智能，而且我们以后还有机会使用它，比如通过自动化测试提供反馈。”

开发团队通常无法实现全面的测试自动化覆盖，当在人工智能的帮助下创建更多代码时，这一点变得更加紧迫。

德国国际应用科学大学的最新研究发现，人工智能生成的代码虽然具有高度可执行性，但不太容易理解和维护对于人类编码员来说。

即使今年的 DORA 报告显示人工智能采用率增加了 25%，从而推动了感知代码质量的小幅提高，但创建的更多代码不可避免地会导致更多的技术债务和更少的文档——这是生产力损失的主要原因据回复该问题的开发商称– 2024 年 Atlassian-DX DevEx 状况调查. –

DORA 团队提出了另一个理论：由于人工智能让我们创建了比以往更多的代码，因此我们可能会忘记一些软件交付生命周期最佳实践，以加快生产速度。

“我们从十年的研究中得知，提高软件交付性能的方法是进行较小的更改，”Harvey 说。– 人工智能帮助我编写比过去更多的代码，对吗？因此，作为一个行业、一个团队，我们可能忘记了小批量更好，因为人工智能可以帮助我们生成更大的批量。但批量越大，获得反馈就越困难。”

这使得整个代码段通过审批过程的速度变慢，而且，当它完成时，它会将不太稳定的代码投入生产。

DORA 今年首次进行的一对一定性访谈显示，开发人员并不真正了解为什么他们的组织在人工智能上花费如此多的资金。

“感觉就像 FOMO：我的组织严重依赖人工智能，因为其他人都在关注人工智能，他们担心如果我们不采用人工智能，我们就会落后。”Harvey 说道。回复他的同事的话凯文·斯托勒反复听到。

这在个人层面得到了回应，每个人都说他们使用人工智能主要是因为其他人都在使用人工智能。

您的开发人员对人工智能有何看法？

绝大多数开发者认为人工智能工具将更加融入他们的工作流程报告称，到 2025 年，编写、测试和记录代码的数量将达到 70%。事实上，大多数人已经依赖人工智能工具来完成许多常见的开发任务。

因此，重要的是要考虑人工智能在哪些方面发挥作用，哪些方面不发挥作用。

也可能是，与之前的一致开发者体验报告，组织正在投资错误的人工智能软件开发用例。

上述 Atlassian-DX DevEx 调查发现，领导者认为人工智能是最有效的方式提高开发人员生产力和满意度 - 而高达三分之二的开发商尚未看到任何显着的变化人工智能生产力提升。

哈维说，即使是今年 DORA 报告中吹嘘的所谓人工智能胜利，也可能只是开发人员认为他们的代码和文档在人工智能方面更好，但也许事实并非如此。

他解释说，DORA 并未与公司代码库集成。它也不是直接问：自从你开始使用人工智能以来，你的代码质量有提高吗？相反，它会提出以下问题：

• 您使用了多少人工智能？
• 您的流程是什么样的？
• 在过去六个月中，您对主要服务或应用程序的代码质量是否满意？

然后，数据团队在这些看似独立的概念之间寻找模式。

Harvey 表示，科技行业可能处于 J 曲线的底部，因为公司仍在弄清楚软件交付生命周期中的何时何地使用人工智能。这也只是 DORA 尝试衡量人工智能影响的开始，因此只有时间才能证明生产率、吞吐量和稳定性是否很快就会提升。

在开发中使用人工智能的建议

我们所知道的是，并不是每个人都全力投入人工智能。超过三分之一的受访者表示对人工智能生成的代码几乎不信任。

2024 年报告还提出了五项建议，以便培养开发者对人工智能的信任：

• 建立并传达生成式人工智能使用政策。
• 投资于更快的反馈驱动因素，例如代码审查和自动化测试。
• 鼓励开发人员在他们最熟悉的编码语言上使用 GenAI，因为他们会更有信心发现弱点。
• 鼓励使用 GenAI，但不要强迫它。
• 帮助开发人员设想未来与人工智能合作的角色，而不是让人工智能抢走他们的工作。

“作为一个行业，我们还没有找到对人工智能的信任，”哈维说，介于默认信任人工智能生成的代码审查和根本不信任人工智能之间，因为我们“害怕”正在偷走我们的工作。

– 中间的位置总是在变化，我们总是试图在适当的信任水平之间找到适当的平衡。可能是我们在代码审查过程中过于信任人工智能，这加快了我们的代码审查速度，并导致稳定性降低。”

一些可衡量的人工智能胜利

与此同时，DORA 报告为人工智能用户带来了一些好消息。

据研究人员估计，人工智能采用率提高 25%，文档质量提高 7.5%。这是继 2023 年 DORA 报告之后发布的，该报告发现，高质量的内部文档对组织绩效的影响几乎是 13 倍。

这是 GenAI 的一个智能早期应用，因为大语言模型 (LLM)非常擅长解释复杂的话题。但这并不是唯一的胜利。

– 我们看到的是，承担更多人工智能功能并使用更多人工智能的工程师或团队往往会拥有更好的流程时间；“他们看到了个人生产力水平的提高。”哈维说。

然而，我们没有看到的是，当谈到能够快速、安全地交付软件时，某些生产力、时间和流程会产生良好的下游影响。事实上，当我们看到团队越来越多地采用人工智能时，这实际上不利于他们的软件交付性能指标。”

报告发现，人工智能对流程、生产力和工作满意度具有“实质性且有益的影响”。如果科技工作者将人工智能的采用率提高 25%，就意味着生产力提高 2.1%。对于企业规模而言，这 2% 是相当可观的。

该报告特别指出，“人工智能能够综合不同的信息源，并在单个位置给出高度个性化的响应”，可以增加流量，同时减少上下文切换。

根据定义，这意味着人工智能已经改善开发者体验。

更严格的反馈循环可提高性能

DORA 2024 比去年加倍，再次证实以用户为中心仍然至关重要。反馈循环越紧密，您就越有可能构建用户真正想要使用的产品。

“我们想要快速软件交付的原因是我们与用户之间的联系并不紧密，”Harvey 说。– 对于我们发布的每个功能或每个更改，我们都没有一个良好的紧密循环。这是一个小小的实验。我们需要了解用户对此有何反应。”

– 因此，我们发货的速度越快，我们就能更快地关闭反馈循环，从而提高我们的以用户为中心。但实际上思考用户是谁并围绕这有助于推动事情发展。”

2023 年 DORA 报告发现，更加以用户为中心导致组织绩效惊人地提高了 40%。

今年的报告发现，优先考虑最终用户体验的组织不仅可以生产出更高质量的产品，而且这些组织的开发人员的工作效率更高，满意度更高，并且不太可能出现倦怠。

平台工程：对 DevEx 的影响参差不齐

今年 DORA 的三大深度支柱——人工智能、平台工程和开发者体验——有一些共同点：将开发者视为最终用户。具体来说，平台工程的成功取决于平台即产品重点，您可以与内部开发人员客户建立更紧密的反馈循环。

今年的报告首次尝试量化经济衰退的影响内部开发者平台：

• IDP 用户的个人生产力水平提高了 8%。
• IDP 用户的团队绩效提高了 10%。
• 使用 IDP 时，组织的软件交付和运营绩效提高了 6%。
• IDP 对自助服务的关注支持开发人员的独立性，从而显着提高个人和团队层面的生产力。

此外，拥有专门的平台工程团队可将软件开发团队层面的生产力提高 6%。

但同样，与人工智能类似，对平台工程的更多关注无助于组织的核心 DORA 指标：

• 吞吐量下降了 8%。
• 变化稳定性下降 14%。

DORA 团队假设吞吐量可能会降低，因为 IDP 实际上会增加系统和团队之间的切换次数。但报告预测，虽然工作进度下降，但完成工作的能力总体上可能会上升。

该报告的作者认为，不稳定因素的惊人增加可能是因为平台使团队能够更快地试验和交付变更，从而导致变更失败和返工率更高。然而，他们还认为，这表明平台无法提高质量，或者团队没有加入并使用完整的平台功能，例如自动化测试。

不管是什么原因，平台带来的这种变化的不稳定性与增加开发人员倦怠。这也可能是平台工程团队整体倦怠的迹象。该报告认为，当内部开发人员平台被视为解决这些问题时，变化的不稳定性和倦怠是平台工程计划的预测因素。

人工智能和平台工程可能是影响开发者体验的两个最重要的趋势。然而两人都坐在加特纳的幻灭低谷，实验通常会失败。

“我们还没有看到他们提高软件交付性能，”哈维说。– 在组织绩效方面，我们还没有看到它们带来更好的结果。作为一个行业，我们有责任确保我们从 DORA 获得这些信号并应用它们，并利用它们来帮助改变我们的行为。”

– 这就是为什么 DORA 的使命是帮助团队变得更好。这是一个持续改进的旅程。 –