新的研究表明，智能手机应用程序可以取代目前执行动作捕捉所需的所有不同系统和技术，该过程将身体动作转化为计算机生成的图像。
该应用程序被称为“MobilePoser”，它使用从已嵌入各种消费设备（包括智能手机、耳塞和智能手表）的传感器获得的数据，并将这些信息与人工智能（AI）跟踪一个人的全身姿势和空间位置。
动作捕捉通常用于电影和视频游戏行业，以捕捉演员的动作并将其转换为出现在屏幕上的计算机生成的角色。可以说，这一过程最著名的例子是安迪·瑟金斯在《指环王》三部曲中饰演咕噜的表演。但动作捕捉通常需要专门的房间、昂贵的设备、笨重的摄像机和一系列传感器，包括“动作捕捉套装”。
MobilePoser：移动消费设备中 IMU 的全身姿势估计和 3D 人工翻译 - YouTube
科学家们表示，此类装置的运行成本可能高达 10 万美元。像已停产的 Microsoft Kinect 这样的替代品依靠固定摄像头来观察身体运动，虽然价格更便宜，但在移动中并不实用，因为动作必须发生在摄像头的视野内。
相反，我们可以用一个智能手机应用程序来取代这些技术，科学家们在 10 月 15 日发表的一项新研究中表示。2024 ACM 用户界面软件与技术研讨会。
研究作者表示，MobilePower 利用机器学习和先进的基于物理的优化实现了高精度卡兰·阿胡贾西北大学计算机科学教授在一份报告中表示陈述。这将为游戏、健身和室内导航领域的全新沉浸式体验打开大门，无需专门设备。
该团队依赖惯性测量单元 (IMU)。该系统已嵌入智能手机中，使用传感器组合（包括加速度计、陀螺仪和磁力计）来测量身体的位置、方向和运动。
然而，传感器的保真度通常太低，无法实现精确的动作捕捉，因此研究人员使用多级机器学习算法对其进行了增强。他们使用由高质量运动捕捉数据生成的公开可用的合成 IMU 测量数据集来训练人工智能。结果是跟踪误差仅为 3 至 4 英寸（8 至 10 厘米）。基于物理的优化器完善了预测的运动，以确保它们与现实生活中的身体运动相匹配，并且身体不会执行不可能的动作，例如关节向后弯曲或用户的头部旋转 360 度。
阿胡贾说：“当一个人佩戴多个设备时，例如手腕上的智能手表和口袋里的智能手机，准确性会更好。”“但该系统的一个关键部分是它具有适应性。即使有一天你没有手表而只有手机，它也可以适应以找出你的全身姿势。”
科学家们表示，这项技术可以应用于娱乐领域（例如更具沉浸感的游戏）以及健康和健身领域。团队有发布AI模型及相关数据位于应用程序的核心，以便其他研究人员可以在工作的基础上继续发展。