作者:Nick BildFollow
最新人工智能算法卓越的决策能力对那些构建自主系统(例如自动驾驶汽车、无人机和机器人)的人来说非常有吸引力。不那么有吸引力的是运行许多这些算法所需的计算资源。这个因素在运行推理时会引入延迟,与网络通信相关的延迟也是如此,因为处理通常需要在远程数据中心进行。这种延迟足以让任何需要实时决策的项目陷入困境。
tinyML技术的发展使得在低功耗边缘设备上部署深度学习模型成为可能,为资源受限的硬件平台上的实时感知开辟了新的可能性。但是,尽管该领域最近取得了所有进展,这些模型仍然面临适应性方面的挑战,特别是在应对环境的动态变化和不确定性方面。这些类型的问题通常通过开发在更大数据集上训练的更大模型来处理,但这些模型对于边缘部署来说是不切实际的,因为边缘部署对内存、计算和能源的限制需要更小的模型大小。
本研究中使用的 Tapo IoT 摄像头(ð·:D. Vyas 等人)
为了解决tinyML目前的局限性,VERSES的三名研究人员开发了一种智能的、基于代理的系统能够进行设备端感知和规划,并结合主动推理来增强适应性。他们的方法超越了标准深度学习功能,允许在动态环境中以紧凑的模型大小进行实时规划。
尽管深度学习的进步提高了传感能力,但这些模型的适应性仍然有限,特别是在针对资源受限的边缘设备进行缩小时。在这种限制下,需要集成感知和规划的主动传感仍然是一个挑战。主动推理是一种植根于概率原理和物理学第一原理的范式,提供了一种有前途的替代方案。通过对不确定性和环境动态进行建模,主动推理使智能系统能够持续学习并做出自适应决策。与依赖于云的解决方案不同,这种方法支持边缘设备上的实时感知和规划,确保低延迟响应并增强数据隐私。
该团队的系统通过在具有平移和倾斜功能的物联网相机上创建和部署“扫视代理”进行了演示,该相机由 NVIDIA Jetson Orin Nano NX 提供支持。该系统集成了用于感知的对象检测模块和基于主动推理的规划模块,以动态适应环境。该代理策略性地控制摄像头以优化信息收集。
NVIDIA Jetson Orin Nano 开发套件(ð·:NVIDIA)
扫视是一种类似于人类视觉系统动态关注关键细节的能力的过程,是主动视觉感知的重要组成部分。这种与生俱来的能力使生物体(以及现在的人工系统)能够通过有选择地收集重要信息来适应不断变化的环境。
研究人员的工作强调了基于边缘的自适应系统在要求效率和精度的现实应用中不断增长的潜力。通过模仿人类的扫视运动,该智能体展示了其专注于动态环境中最重要细节的能力,为空中搜救、体育赛事跟踪和智能识别等多个领域的进步铺平了道路。城市监控。这项工作标志着在缩小人工智能感知与实际设备决策之间的差距方面向前迈出了有意义的一步。