可解释的无人机群混乱的机器学习模型 |科学报告 - Nature.com

2024-09-28 15:15:30 英文原文

Abstract

管理无人机机队时的主要挑战是确保其编队的相对稳定性并最大限度地减少混乱,特别是在遭受入侵时。在规划任务时,操作员设置编队参数以平衡任务需求与入侵者可能造成的混乱是有益的。本研究开发的模型预测了作为地层参数函数的预期扰动。使用从模拟中获得的数据,将六种机器学习方法的有效性与先前建立的基线进行比较。CatBoost(分类提升)提供了最佳结果,\(R^2\)(决定系数)值为 83.3%,比基线提高了 80%。SHAP(沙普利加法解释)方法用于将模型扩展到对参数值的特定组合的可预测性之外,向地层操作员提供通用建议。

其他人正在查看的类似内容

简介

保持无人机群的静态编队并避免碰撞是无人机领域的两个主要挑战,特别是当它们从事观察或传感任务或覆盖固定区域。任务的正确执行取决于满足保持编队就位、同时避免入侵者和防止编队内发生碰撞的任务目标。其中,主要的挑战是需要处理入侵者和意外的随机事件,如 Kallinikos1 所描述的。对于无人机,这个问题通常通过为无人机配备防撞算法来解决,正如 Wei 等人2 所指出的。

入侵者的出现会给编队带来不必要的干扰。在防撞算法的指导下,无人机从原来的位置移动,让入侵者通过,然后需要返回到原来的位置,同时避免与蜂群中的其他无人机发生碰撞。由于这种干扰可能会导致额外的能源支出、任务准备状态的延迟或降低,因此必须为此做好计划。正如 Atyabi 等人3 所强调的,只要编队的操作者知道预期入侵者将造成的混乱程度,就可以改变编队的参数,以平衡这一点与编队的任务。Jiang4 观察到,因此预测对给定地层的干扰程度的能力至关重要。

作为我们研究的成果,本文提出了一组两种工具,可以帮助操作员进行此类操作规划。第一个是使用选定的机器学习方法开发的预测模型。该模型根据所选的地层参数(包括防撞算法的参数)来预测平均入侵者将施加的干扰水平,以交叉熵水平表示。我们的研究表明,最有效的方法是基于 CatBoost,其 \(R^{2}\) 为 83.3%。Catboost 由 Dorogush 等人开发,5 并采用梯度提升,这是一种强大的集成学习技术,可以按顺序构建模型。通过组合多个弱学习器(通常是决策树),它可以创建强大的预测模型。该算法通过使用有序提升和遗忘树等技术来最大限度地减少过度拟合,即使在较小的数据集上也能确保稳健和准确的性能。决定系数表示为 \(R^2\),是回归分析中的一个关键指标,因为它表示可从自变量预测的因变量方差的比例。此外,在预测建模中,较高的 \(R^2\) 表明模型具有更好的预测准确性,这意味着它可以根据输入变量更可靠地预测未来结果。

但是,使用机器学习工具可以使模型变得不透明,从而阻止操作员对其进行解释。也就是说,虽然操作员可以获得对由给定参数组引起的扰动的预测,但是没有指示增加或减少一些参数对扰动的影响。SHAP方法可以应用于最佳模型,为参数的改变提供具体的指导。

这项工作的新颖性在于以下几个方面:

  • 通过探索机器学习领域的多种方法,开发了一种预测入侵者造成的干扰的新模型。我们的模型采用 CatBoost 方法,并提供 \(R^2\) 等于 83.3%,提高了 80相对于 Gackowska 等人6针对同一数据集报告的工作得出的基线(通过模拟获得)的百分比。

  • SHAP 方法应用于模型,其结果用于为操作员制定有关参数更改的指南。这种方法可以克服机器学习模型的局限性,即参数值与模型结果之间缺乏可解释的关系。

本文的组织结构如下:第 2 部分介绍了无组织性、机器学习模型和可解释性领域的文献综述。第 3 节描述了提议的方法。第 4 节介绍了一些结果和讨论。第五节总结了我们的工作,并从这项研究中得出了一些结论。

文献综述

正如 Wu 等人7 所观察到的,无组织性与系统结构的状态有关。正如 Chandola 等人指出的,它涉及异常的发生,即偏离正常和预期行为的明确定义概念的某些事件或模式。8。Kelso9指出,混乱还涉及协调(即空间、时间和功能秩序)发生紊乱。根据 Chaudhury 等人的定义,10 协调可以被视为一个由四个阶段组成的循环:定义阶段、冲突解决、行动和适应。根据卢曼理论 11 确定的混沌效应、干扰效应或一次性异常等相互作用的影响会对组织产生负面影响,从而对系统的性能和安全产生负面影响。

正如 Zorich12 所指出的,最初,交叉熵的概念与热力学密切相关,并被认为是热力学系统中无序性或随机性的度量。后来随着信息论的发展,香农熵的概念被引入并用作信息的度量,允许基于概率分布评估某些全局信息。一般来说,可以说交叉熵代表了预期概率分布与实际概率分布之间的差异。

Cofta 等人的工作14表明,交叉熵可以看作是对概率分布的度量。无人机群形成的组织程度和干扰程度。熵被广泛用作跨学科研究的度量。Pincus15 指出,近似熵是评估涉及随机和确定性混沌过程的复杂系统的适当度量。正如 Niku16 所提到的,熵是系统组织程度和随机性的度量。所有自然系统都容易增加熵,但是当对系统施加人工秩序时,熵就会减少。Chuprov17 使用熵作为自组织工业经济系统的秩序度量;这项研究;这项研究表明,系统阶数的增加以熵的减少为特征。Canfora 等人 18 重点讨论了使用熵作为源代码中变化、复杂性依赖性和无组织性的衡量标准的问题。

正如 Gackowska 等人 6 所指出的,尽管无人机群编队可能正在形成在混乱的边缘,可以开发一个预测模型,该模型允许将入侵者造成的平均破坏估计为地层参数值的函数。在这种情况下,使用交叉熵作为度量的多元线性回归模型预测的交叉熵值约为 54%。

机器学习模型广泛用于回归和分类任务。它们的多功能性使它们能够应用于许多领域,包括医学(如 Kavitha 等人所指出的)19、自然环境(如 Mosavi 等人所研究的)20、力学(如 Liu21 所描述的)以及机器人技术(如 21 所强调的)金等人22。Choi等人在文献综述中8指出,机器学习算法也用于无人机,主要涉及与避免碰撞、路线规划、物体识别、参数调整和自适应控制相关的问题。这些作者还报告说,机器学习算法很重要在开发算法时考虑模拟数据或实时数据。Traboulsi23 研究了三架无人机群编队形状的预测,他使用 softmax 回归作为机器学习分类器来预测无人机编队的类型以及从一种编队到另一种编队的转换。这项研究考虑了无人机的编队和无人机之间的平均距离、无人机的平均速度以及无人机之间的平均中心点等参数。Nebe 等人进行的研究24 重点是使用一维卷积神经网络 (CNN) 来检测无人机群编队中的混乱情况并对混乱做出响应。根据从传感器获取的无人机位置和速度数据以及计划轨迹,确定了系统的四种状态:正常、混沌、不确定混沌、不确定常态。还发现编队中的第六架无人机超过返回初始位置所需的时间 85 秒的情况,在这种情况下,发现了混乱行为。在他们的研究中,这个阈值并不通用,而是特定于在这次特定测试中观察到的第六架无人机的行为。数据显示,第六架无人机分别在 90 秒和 75 秒左右对基准方向的变化表现出不规则的反应。基于这种行为,混沌检测算法确定系统在 85 秒时无法正常运行,这一发现得到了第六架最终在飞行测试期间坠毁的事实的证实,表明观察到的混沌行为确实至关重要。Bartak 等人25 使用基于传感器数据序列和相应控制信号的监督机器学习技术来识别单个无人机的活动。

研究人员越来越多地利用人工智能模型的可解释性,它代表了人类能够理解和解释人工智能/机器学习系统的内部机制的程度,正如 Choras 等人指出的那样。26。

Samek 等人回顾了可解释性及其重要性。等27。研究表明,它满足各种要求,例如评估信任、安全和安保的能力,以及在决策过程中补充人类专业知识的能力。

正如 Roscher 等人正确指出的那样28,对单个数据模型的算法解释的依赖不会提供允许用户理解模型决策的解释。正如 von Rueden 等人所强调的,有必要纳入知识并与人工智能模型集成29。Zhou等人30报告说,用于实现后验可解释性的流行库是SHAP(SHapley Additive exPlanations),由Lundeberg等人开发31。Hu 等人32 指出,在存在异常值或特征依赖性的情况下,使用 SHAP 获得的值优于其他测量值。

方法

主要目标这项研究的目的是分析和开发机器学习模型,以帮助做出无人机编队参数最佳设置的决策。我们考虑一种涉及多旋翼无人机群固定编队的情况。这些无人机根据实施的防撞算法以网格形式移动。这些参数与专有防碰撞算法(\(R_1\)、\(R_2\)、\(\tau\)、q)和编队本身(尺寸、间距)相关,并讨论了这些参数的详细信息在第 4.1 节中。

该模型预计可以预测由于入侵者通过而引起的无人机编队的熵增加。Gackowska 等人之前的研究 6 将可预测性基准设定为 \(R^{2}\)=54%。此外,为了给决策提供支持,模型还追求高水平的可解释性27。

我们首先对数据集中的参数进行初步分析,然后开发预测交叉熵值的机器学习模型。我们使用普遍接受的指标来评估这些。最后,根据已开发的人工智能模型、其可解释性和现有领域知识,我们为群体操作员和管理者提供了许多指南。

包含可解释性推理是由观察驱动的,即在无人系统的决策中,重要的是不仅要获得尽可能最佳的预测结果,而且要尽可能了解模型进行预测所依据的参数。这种推理背后的基本原理是,模型本身可以提供点预测,即它可以提供有关给定参数集的预期熵的信息,但它既不能保证地层的鲁棒性,也不能帮助地层的操作者确定哪个参数应该朝哪个方向移动。在模型可能包含局部极值的情况下尤其如此,这可能会阻止操作员探索超出它们的范围。

我们选择的模型仅限于机器学习模型,大部分来自决策树系列。预计决策树将很好地捕获地层参数与交叉熵之间关系的近乎混沌性质。除了决策树模型之外,还选择了 XGBoost(极限梯度提升)、SVR(支持向量回归)、CatBoost(分类提升)、随机森林、K-Neighbours 回归器和决策树。此选择有意包含已知的模型因为它们的可解释性,并排除了人工神经网络家族,因为人工神经网络的可解释性不太确定。我们注意到,在我们之前的研究6中,使用了回归系列的模型。

评估使用了四个指标:\(R^2\)(决定系数)、MAE(平均绝对误差)、MSE(均方误差)和 RMSE(均方根误差)。这样可以与之前的研究进行比较并确定最佳模型。CatBoost 取得了最好的结果(分类提升,\(R^2\) 的值达到 83%。

为了评估可解释性,使用 SHAP SHapley Additive exPlanations 指标来确定重要性然后根据领域知识重新解释可解释性的结果,为操作员制定具体建议。

结果和讨论

数据集和数据点

出于本研究的目的,使用了由本研究的作者开发的数据集,该数据集可从 in33 的存储库中获取。以及数据集的详细描述,在本节中,我们将仅关注理解我们的工作所需的数据的关键方面和特征。该数据集是针对入侵者通过的场景创建的。通过无人机群的静态编队,其目的是维持无人机的分配位置。该数据集由关于一群无人机的 3720 个独特数据样本组成,其中每个样本代表入侵者在不同角度和起点的约 250,000 次飞行的平均结果。地层参数是在特定范围内随机选择的,同时观察建模情况的物理限制。距离以米表示,无人机速度为 4 m/s。

数据集中的每个单独数据样本均包含以下数据:

  • (一个)

    输入:群和所使用的防碰撞算法的参数:大小、间距、\(R_1\)、\(R_2\)、\(\tau\)、q

    这些是假设由群体操作者设置的自变量。size 参数表示构成蜂群高度或宽度的无人机数量(编队始终具有正方形形状),spacing 是无人机之间的距离(以米为单位),\(R_1\) 是外部半径安全区,\(R_2\)是内部安全区的半径,单位都是米。参数\(\tau\)和q控制防撞算法的敏捷性,其中\(\tau\)是线性分量,q是对其他无人机接近响应的非线性分量。

  • (二)

    派生变量:\(D_{1}\)、\(D_{2}\)、\(D_{3}\)

    这些变量是根据作者的领域知识引入的,因为预计它们将更好地捕获系统中存在的物理依赖性,特别是之前观察到的某些非线性6。它们的计算方式如方程式所示。(1)(3):

    $$\begin{对齐} D_1=

关于《可解释的无人机群混乱的机器学习模型 |科学报告 - Nature.com》的评论


暂无评论

发表评论

摘要

摘要管理无人机机队时的主要挑战是确保其编队的相对稳定性并最大限度地减少混乱,特别是在遭受入侵时。此外,为了给决策提供支持,模型还追求高水平的可解释性27。我们首先对数据集中的参数进行初步分析,然后开发机器学习模型来预测交叉点熵值。同样,参数 \(R_1\) 和大小对模型决策的影响最强,其次是 \(D_2\) 和 \(D_1\)。在考虑达到最高\(R_2\)值(83.3%)的CatBoost模型时,为了更好地说明这种关系,选择了参数\(D_1\)和\(D_2\)并将其作为附加变量引入模型中,分析表明这些参数密切反映了交叉熵的变化。https://doi.org/10.1134/s0032946022020016 (2022).Shannon, C. 通信的数学理论 (1948), 121134(麻省理工学院出版社,2021).Cofta, P.、Ledziski, D.、migiel, S。