作者:Zhu, Song-Chun
现实世界中的精确感觉运动控制是机器智能和体现人工智能(AI)的基础1,,,,2。该领域的标志性挑战是控制灵巧的机器人手3。尽管机电系统和精致的手指设计取得了进步,从而增强了灵巧性4,丰富的感觉反馈的有限可用性从根本上限制了它们在动态互动中适应的能力5,,,,6。理解和解决这种感觉限制对于在需要细微的控制和快速适应的现实情况下部署机器人手至关重要。
长期以来,机器人社区认识到这一挑战,通过日益复杂的硬件和控制策略来解决这一挑战。在硬件方面,研究人员开发了复杂的机械设计,这些设计紧密模仿了人类手的运动学7,,,,8,,,,9,,,,10,,,,11,主要依赖于联合感知的联合反馈。这些硬件的进步通常与视觉感知相结合,已经实现了各种控制范式:从执行精确手指步态的基于计划的方法12,,,,13通过培训制定控制政策的基于学习的方法14,,,,15,,,,16最近,大型语言模型提供了高级任务推理17。但是,基本的限制仍然存在:没有直接感知局部联系人的重要信息,以实现建模和控制 - 这些系统无法处理意外的物理互动5。
该解决方案可能在于理解人体控制,通过复杂的触觉感知系统实现了显着的精确控制。该生物系统包括两个关键要素:整个皮肤中嵌入的一系列触觉传感器18,,,,19,,,,20并在主要体感皮层中进行专门的神经加工,该皮质迅速解释和整合了大量的感官输入20,,,,21,,,,22。这种组合使人类能够在操纵过程中立即检测并响应微妙的接触变化,这是当前机器人系统尚未复制的能力。
从这种生物结构中汲取直接灵感,我们介绍了F-TAC手(全手触觉的仿生手),该系统弥合了机器人操纵中的感官差距。核心创新在于其全面的触觉感测能力,其在70%的手表面上具有高分辨率覆盖率(0.1毫米空间分辨率)。这是通过在六个优化配置中有效整合17个基于视觉的触觉传感器的,其中传感器覆盖的双重用途是传感元素和结构组件。该手保持完全类似的人类敏捷性,以其较高的kapandji得分证明23以及执行所有33种人类掌握类型的能力24。在此硬件中,我们开发了一种生成算法,该算法会产生类似人类的手部配置,从而为对象互动创造了丰富的知识库。该集成实现了闭环触觉控制控制,该控制能够处理高维接触数据,以进行精确的自适应操作。
为了严格验证F-TAC手的功能,我们专注于多对象掌握的任务,该任务体现了敏捷操纵的挑战5,,,,25。虽然一级自由度(1-DOF)平行抓手已经成功解决了单对象操作26,,,,27,,,,28,同时操纵多个对象提出了两个截然不同的挑战:它需要在整个手和战略运动调整中进行精确的接触检测,以防止对象碰撞。通过全面的触觉传感,F-TAC手直接解决了这些挑战。对600个现实世界试验进行的广泛评估表明,非骨骼替代方案的性能得到了重大改善(p<<0.0001),特别是在涉及现实执行噪声和动态对象相互作用的情况下。
我们的工作通过两个主要贡献提高了这一领域:一个实用的证明,即可以在不损害手动运动能力的情况下实现全手触觉感应,以及对其利益的全面经验验证。通过解决以前将触觉感知到简单抓手的技术挑战,这项研究可以对精致的触觉智能进行前所未有的调查6。更广泛地,我们的结果为丰富的感觉反馈在智能行为中的关键作用提供了具体证据,这表明了开发具有纯粹计算方法的体现的AI系统的有希望的方向29,,,,30。
F-TAC手通过其全面的触觉感应功能,在保持全方位运动的同时,通过其全面的触觉感应能力前进。该手实现了类似人类的触觉覆盖范围,感应元素在70%的掌表面延伸,密度为10,000个符号(相机CMOS中的像素)CM2(如图。1),特别超过当前的商业解决方案,例如影子手,该解决方案仅提供五点反馈的反馈11(与其他触觉阵列进行比较1)。通过多种配置中的一系列基于视觉的触觉传感器来实现这种广泛的覆盖范围(请参阅扩展数据中的爆炸视图。1a和补充部分的身体尺寸1),具有特殊设计的覆盖层,这些盖子与手掌和手掌保持一致,以最大程度地减少机械冗余,同时复制人手的天然运动学结构(图。2a)。五个手指中的每一个都包含了三个DOF,这有助于手的总15DOF构型,从而实现人类的敏捷性。一个专门的电子模块可实现大规模传感器读取采集,同时最大程度地减少了空间,重量和电缆要求(扩展数据图。1B)。手的尺寸反映了成年人类手的尺寸,从腕部到中指尖,尺寸为194毫米(图。2a),及其模块化设计体系结构可以轻松适应不同的物理维度,同时保持功能。
,在六个配置中的17个基于视觉的传感器的无缝集成,每只手指和成人手动尺寸保持15个DOF。每个传感器都包含一个简化的摄像头模块,以在受限空间中有效触觉数据采集。PCB,印刷电路板。b,F-TAC手通过握住2.5公斤哑铃来展示其强度;每个Phalanx的总握力为10.3 n。c,手指的示意图,带有kn,,,,我n和f分别表示关节刚度,旋转角度和电缆力。还显示了由于电缆和关节对齐而旋转的偏移。d,F-TAC手和人手指屈曲的自上而下的视图比较。e,尽管有许多传感器,但F-TAC手保留了其移动性,这是成功的Kapandji测试证明的23,拇指指尖在图中编号依次接触手上的特定点。pp,近端针;MP,中间段;倾角,远端法司烷;PIP,近端指间;MCP,掌pophangeal。
F-TAC在其广泛的触觉传感覆盖范围的基础上,还可以实现与最先进的敏感手相匹配的全面运动能力9,,,,10,,,,11。该手仅使用五根纤细电缆实现完整的移动性(扩展数据图。1C)具有大量有效载荷能力(图。2b)。每根电缆控制手指的屈曲和扩展(扩展数据图。1d,e),与每个接头的刚度调节的弹簧一起工作(图。2C)复制人类手的协调但半独立的运动特征31(如图。2d)。额外的驱动能力使拇指对立,扩大了手的运动多功能性(扩展数据图。1e)。在触觉传感器制造和f-TAC手工制造中提供了详细的制造程序方法。通过两项评估证明了手的敏捷性:kapandji测试23,完成所有十个指定的指定的拇指对接触点。2e,以及所有33种人类掌握类型的成功执行(图。3)。图3:F-TAC手的工作区。
24。手触觉传感系统利用光度立体原理32
,,,,33,将光强度变化转化为表面梯度信息(图。4a)。接触表面几何形状通过两个阶段的过程重建。首先,一系列编码器解码器神经网络(图。4b)映射每个传感器的表面梯度和强度变化之间的基于物理的关系。接下来,泊松求解器会产生高保真的表面几何形状,可视化为正常地图(图。4C)。详细的传感器特性可在补充部分中获得1。
d,原始触觉传感器读数图中所示的配置。1a((一个)由神经网络处理(b)重建联系站点几何(c),可视化为正常地图。神经网络,经过模拟数据培训(d)由基于物理的图像形成模型生成,可以在接触接口处的几何信息启用广泛的原始数据的有效和精确映射。e,,,,f,抓住对象时(e),F-TAC手通过其高级触觉器传感功能捕获详细的联系信息(f)。g,这种丰富的触觉反馈使F-TAC手能够准确感知和解释对象特征,如其对物体姿势的精确估计所证明的那样。F-TAC手触觉系统的前所未有的规模需要开发有效的校准解决方案。我们通过基于物理学的图像形成模型解决了这一点(补充部分详细介绍2和3
)在触点过程中生成弹性体变形的合成读数(图。4d)。这种方法可实现有效的神经网络培训(图。4b)和准确的传感器校准。将细粒的触觉传感与强大的运动能力的整合使F-TAC手能够有效地掌握各种物体,包括诸如水晶球之类的挑战性案例(图。4e),同时捕获详细的联系信息(图。
4f)。这些感官数据在操作过程中可以构成准确的对象构成估计(图。4G)。在补充视频。通过浓密的触觉阵列和高级运动能力的组合,F-TAC手实现了前所未有的仿生忠诚度,提高了机器人操纵能力以及我们对人手动敏捷性的理解。用类似人类的多样抓握为F-TAC手动供电
尽管F-Tac Hand的高发音能够进行复杂的操纵,但它在Grasp计划中带来了独特的挑战。
34。基于学习的替代方案35尽管避免了复杂的分析解决方案,但需要广泛的培训数据,这些数据既昂贵又可能会因人类演示偏好而偏见,这是对高度铰接的敏感手的特殊挑战。我们将机器人抓握的刚性物体的生成模拟为从物体几何形状调节的Gibbs分布中的采样手姿势。
每个掌握都与源自力闭合标准得出的能量值有关,该能量值评估了掌握能力能够抵抗外力的能力。较低的能量值表示更好的抓手能力;请参阅“概率表述”方法和补充部分4有关详细信息。由于手的大量DOF和问题的非凸性性质36,我们从随机初始化中采样了抓地力,并应用了经过修改的大都市调整后的兰格文算法来减少能量并逃脱局部最小值,从而收敛到低能量,高质量的抓地力;有关复杂的能源景观,请参见探索算法方法有关详细信息。我们使用23个对象(包括球体,圆柱体,立方体和不规则形状)的测试集验证了该方法(图。5a)。通过从各种初始化的算法执行算法,F-TAC的仿生运动学(扩展数据图。2)和多样化的物体几何形状会导致各种抓地姿势(补充视频)。
选择了23个对象,尺寸和几何复杂性有所不同,以评估Grasp生成方法的功效。bd,使用ADELM算法生成的脱节性图将可能的grasps的景观描述为断开图。e对于钳子,掌握策略的多样性反映了其在日常活动中的常见用法。f,即使物体具有复杂的几何特征,也可以保持这种抓地策略的多样性。g,根据参考文献所采用的人类掌握类型的所有23个对象的生成的抓取。24。结果共同涵盖了所有19种常见的掌握类型,这意味着产生的抓握策略的人类般的多样性。通过吸引扩散能量景观映射(ADELM)算法分析所得的抓姿势
37可视化公式中定义的复杂能量景观(2),如图所示。5bâd。在此可视化中,圆圈代表局部最小值(低能区域),其中每个局部最小值至少包含一个可行的掌握。圆的大小表明该局部最小值内存在多少个类似的掌握。根据参考文献,根据大多数抓握类型对圆圈编码。24:权力,精度和中级。圆之间的垂直连接条代表了不同局部最小值之间的能屏障,较短的条表示在抓握姿势之间更容易过渡,而较长的条表示更难实现的过渡。生成的抓取和人类示范之间的直接比较(图。5bâd)在下面的盒子中验证了我们解决方案的人类性质。即使对于诸如钳子和对抗对象等挑战的情况,这种方法也保持其有效性38(如图。5e,f),具有扩展数据中的全面能量景观图。3。
为了定量评估我们方法的类似人类的多样性,我们根据参考文献分类法分析了1,800种产生的grasps。24,将它们分类为19种常见的掌握类型(补充部分5)。产生的分布(图。5G)展示了整个人类掌握曲目的全面覆盖范围,从频繁的策略(例如功率球形和精确球)到诸如远端类型和掌上掌握的专业配置。
使用接触图进一步分析39揭示了与人类掌握分类保持一致的自然聚类模式。通过通过主成分分析和可视化降低维度的降低t - 分布的随机邻居嵌入(扩展数据图。4),我们观察到了不同的功率和精确掌握分组,中间grasps适当地位于径向 - 基 - 基础 - 函数 - 官方核支持向量分类器定义的边界附近。此分布反映了人类掌握的分类模式,其中中间grasps具有两种类型的特征(补充部分的计算细节6)。
所证明的能够产生多样化的人类手部配置的能力,提供了最佳和近乎最佳控制策略的F-TAC手。这个算法基础与低级控制器合作,在现实世界中的操纵场景中可以增强灵巧性和适应性。
高级触觉传感与各种抓握策略的集成使F-TAC手可以实施闭环感觉运动反馈机制,从而实时适应环境变化。实现细节在扩展数据图中进行了说明。7并在上下文敏感的运动控制中描述方法。
我们通过多对象握把展示了F-TAC手的功能5,是手动灵活性的关键基准,它超过了1DOF平行抓手的局限性。这项具有挑战性的任务需要精确的联系检测和战略调整,以避免对当前AI系统难以捉摸的碰撞功能5。而最近的进步13,,,,25表现出承诺,管理现实世界的随机性质,尤其是那些具有复杂几何形状的物体的物体,仍然具有挑战性。F-TAC手通过精确的接触点识别克服了这些局限性(图6a)。
,F-TAC可以以人类的方式同时掌握多个物体的能力。b,尽管执行噪声,但F-TAC手仍可以通过多对象抓握优化对象传输。c,现实世界的干扰显着提高了第二点碰撞率(插图:红色的碰撞检测点),突出了触觉监测的必要性。d,触觉信息的适应性显着提高了第二保障的成功率。情节c和d显示60个独立的技术重复(蓝色点),每个复制都代表了在10个试验中测试的独特对象组合。盒子图显示了第25个百分位数(框),中值(中间线)和最小/最大值(晶须)。阴影区域(橙色c,绿色d)显示数据分布的内核密度估计。相同的p值(2.1 - 1017)显示在两个面板中的两个面板中t-tests(t(59)= 11.8)比较完美与现实世界执行(c),并且没有触觉信息适应(d)。没有进行多次比较的调整。为了评估现实世界的性能,我们将F-TAC手安装在Kinova Gen3机器人臂上,以进行多对象传输任务(图。6b)。
目的是在一方面掌握尽可能多的物体,以最大程度地提高运输效率。虽然在理想条件下存在最佳策略(图2中的红色路线。6b),实际变量(例如不完美的机器人定位和对象感知)需要自适应运动控制。图中的其他彩色路线。6b说明了F-TAC手遇到错误的对象位置但利用其全面的触觉感应功能的实际情况(图。4G)评估情况并动态切换到适应可用空间的替代策略,即使理论上次优。在扩展数据中显示了自适应行为的其他演示,包括对手指损伤和球大小适应的反应。5和补充视频。我们通过涉及600个现实世界试验的60个对象组合的广泛实验来量化触觉传感的影响。从理论上最佳的策略不考虑环境动态的理论上,从一个不明式的AI角度来编程了初始的grasps。
每种组合都经过了十项现实世界中的试验,触觉反馈评估了手持对象位置和潜在的碰撞风险。碰撞检测涉及两个步骤:使用触觉信息来估计握把物体的姿势,如图2所示。4G,然后检查握把对象的几何形状和下一个目标对象几何的结合是无效的。实际执行中观察到的碰撞率(m= 0.465,s.d. = 0.306)与理论预测有显着差异(m= 0.000,s.d. = 0.000),突出了模拟与现实之间的巨大差距,t(59)= 11.8,p2.1 2.117(如图。6C)。当比较触觉信息与非肌感控制时,F-TAC手的自适应能力变得尤为明显。
在发现碰撞风险后,该系统迅速(〜100 ms)切换到理论上可能是次优的替代策略,但实际上是实际的。在有潜在碰撞的情况下,非肌发现的方法不可避免地失败,而触觉信息的方法通过自适应重新植入来维持生产力。触觉信息的方法实现了完美的适应(m= 1.000,s.d. = 0.000),而没有触觉反馈的成功率显着降低(m= 0.535,s.d. = 0.306),t(59)= 11.8,p2.1 2.117(如图。6d)。值得注意的是,在无碰撞方案中,两种方法表明了可比的执行时间,触觉信息碰撞检查仅增加了处理时间的〜1 s,这表明触觉传感在正常操作期间提供了最小的计算额外费用的关键鲁棒性。详细的方法和逻辑链在上下文敏感的电机控制中可用方法。
F-TAC手代表了机器人感觉运动整合的实质性进步,从而实现了前所未有的综合触觉感应与人类敏捷性的整合。它的高密度触觉覆盖范围(占掌表面的70%,10,000辆群体CM2)实质上超过了当前的机器人手部功能。通过有效整合基于视觉的触觉传感器,基于物理学的校准方法和专门的电子设备,可以实现这种非凡的感应。
触觉感测的最新进展33,,,,40,,,,41,,,,42,,,,43,,,,44,,,,45,,,,46,,,,47,,,,48主要集中于平行抓手。尽管这些配备传感器的握手在特定任务中表现出增强的功能,例如电缆关注26,表面跟随27和铰接的物体操纵28他们的低功能机械结构从根本上限制了其灵巧性进行复杂的操作。
相比之下,F-TAC将综合触觉反馈与高发音的整合促进了更复杂的操作,这是由于其在不确定的条件下成功的多对象抓地力所证明的。闭环感觉运动反馈可以实现上下文敏感的适应性,从而显着提高了动态现实世界中的性能。感应和适应性的这种结合对于需要安全有效的环境相互作用的实用机器人应用至关重要。
F-TAC手背后的设计理念强调可复制性,旨在促进触觉操纵中的更广泛的研究。它对类似人类的能力的实现为假肢,远程运营,协作机器人技术和人类机器人互动开辟了可能性。硬件的紧凑,模块化体系结构有助于有效的数据采集和校准,同时适应各种机器人平台。GRASP生成的无训练随机优化方法仍然独立于平台,从而在不同的手部设计中快速部署(扩展数据图。6)。尽管我们当前的实现假设已知的对象几何形状,但这是一个故意的范围决定,将重点放在触觉信息的自适应控制上而不是几何重建上。可以使用现有视觉技术轻松整合预磨牙的几何学获取49,,,,50,操纵过程中的实时重建代表了未来工作的有希望的方向。多样化的握力功能和环境适应性的结合使F-TAC手特别适合复杂的操纵任务。
除了技术成就之外,我们的结果表明,实用的AI需要在感官处理和战略适应之间进行紧密整合。综合触觉反馈在实现人类敏捷性方面与认知和神经科学方面的观点相吻合的重要性很重要,这些观点强调了物理互动在智能中的重要作用51,,,,52,,,,53,,,,54。
F-TAC手远端phalanx的触觉传感器设计(扩展数据图。1a)解决小型化和整合中的关键挑战。使用单个灵活的平板电缆的定制摄像头模块可以解决传统的电缆限制。传感器壳体的U形Clevis和Tang结构可实现拟人化表达所需的互连。
接触检测依赖于通过反射的光强度来分析弹性体表面变形。为了在狭窄的Phalanx空间中获得均匀的照明,我们开发了一种专门的兰伯特膜。该膜结合了带有透明的硅胶底座(平滑的Solaris Parts A&B,1:1比率)的气刷球形铝膜(耐磨磨液和1-µ¼M球形铝制粉末)。照明系统包括表面安装的Luxeon Luxeon 2835色线发光二极管(红色,绿色,蓝色和白色)在丙烯酸支撑周围排列,并通过轻型 - 散射器膜增强。具有160°广角镜头的OV2640图像传感器可提供颜色兼容的成像,而7毫米7毫米7毫米4毫米4毫米散热器可确保热稳定性。
完整的传感系统体系结构(扩展数据图。1B)将这些组件与自定义控制模块集成在一起。模块通过数字视频端口与摄像机接口,维护240-PX 240-PX图像缓冲区。通过已知的对象校准来验证每个像素的空间分辨率为0.1 mm。扩展的串行外围接口总线坐标顺序摄像机捕获,使用用于PC数据传输的USB连接和用于伺服控制的U2D2协议。
将触觉组件集成到解剖学上的卵形覆盖成人手部尺寸。这种模块化的单缆设计克服了在机器人手中实施高分辨率,广泛的触觉感知方面的传统挑战。
F-TAC手的结构(扩展数据图。1C)在六个配置中集成了17个基于视觉的传感器,以实现人体手的比例。四个手指索引,中间,环和小索引共享一个共同的架构(扩展数据图。1d)带有三个连续的旋转关节:掌pophangeal,近端指间和远端的指间法向法指上,每个均提供了0â90°范围。这些接头利用由深槽滚珠轴承支撑的铝轴,螺丝钉固定和扭转弹簧保持0°的休息位置。
拇指设计(扩展数据图。1e)具有额外的腕骨关节DOF,可启用90°运动范围,其距其近端的指向法上关节轴的偏移量为45°。两部分的棕榈底座有助于组装和容纳紧凑的触觉传感器,上部区域将双摄像头掺入单个传感器中,以增强感知(扩展数据图。1C)。
手指驱动采用电缆驱动的机构,一根电缆沿着每个手指的缘骨的两侧路由,并在棕榈底部收集。扭转弹簧有助于在电缆放松时恢复静止位置。每个手指都由Dynamixel XC330X-T288-T伺服电机供电。对于实验验证,F-TAC手安装在7-DOF Kinova Gen3操纵器上。
多边机器人手的掌握配置的产生提出了显着的挑战,尤其是在最大化灵巧能力时。我们不依靠需要大量注释数据集的数据驱动方法,而是将Grasp生成作为Gibbs分布抽样问题:
$$ p(h | o)= \ frac {1} {z} {\ exp}^{ - e(h,o)},$$
(1)
在哪里h=â((t,问)表示手的姿势和关节构型,o表示目标对象e((h,o)定义抓握能量函数和z是棘手的归一化常数。手的表面几何形状s((h)通过正向运动学计算。
该能量功能结合了两个加权组件的掌握质量能量e抓牢和身体上的能量ePHY:
$$E(H,O)={\lambda }_{{\rm{grasp}}}{E}_{{\rm{grasp}}}(H,O)+{\lambda }_{{\rm{phy}}}{E}_{{\rm{phy}}}(H,O).$$
(2)
To assess the quality of the grasp, we use force closure criteria to definee抓牢((h,âo):
$${E}_{{\rm{grasp}}}(H, O) =\mathop{\min }\limits_{{\mathbf{x}}\subset S(H)}{\mathrm{FC}}({\mathbf{x}},O),$$
(3)
在哪里xâ=â{x我} represents frictional contact points ons((h), and FC(x,âo) assesses force closure formation on the object.
ePHYenforces physical constraints by penalizing handâobject penetration and joint limit violations:
$$\begin{array}{l}E_{\mathrm{phy}}(H,O) = \mathop{\sum}\limits_{v \in S(H)} \max\left(-d^{\;\mathrm{SDF}}_O(v), 0\right)\\+ \mathop{\sum}\limits_{j=1}^J \left[\max \left(q_j - q^{\max}_j, 0\right) + \max \left(q^{\min}_j - q_j, 0\right) \right],\end{array}$$
(4)
在哪里\({d}_{O}^{{\rm{SDF}}}(v)\)defines the signed distance function from pointvto objecto, 和\([{q}_{j}^{\min },{q}_{j}^{\max }]\)specifies joint limits for each of thej关节。
This probabilistic formulation enables scalable generation of diverse, effective grasp configurations.
The nonlinearity of hand kinematics and contact-point selection creates a complex energy landscape fore, making naive gradient-based sampling prone to suboptimal local minima.We address this through a modified Metropolis-adjusted Langevin algorithm that alternates between contact-point sampling and gradient-based pose optimization.
The algorithm initializes with random hand posehand contact pointsxâââs((h)。通过literations, it updatesh和x最大化p((h,âo)。Each iteration stochastically chooses between updating the hand pose via Langevin dynamics or replacing a contact point with a uniform sample from the hand surface.Updates undergo MetropolisâHastings acceptance criteria, favouring lower-energy configurations.
This combination of stochastic updates enables escape from local minima, while Metropolis acceptance guides sampling toward low-energy configurations.An algorithm efficiency analysis is detailed in Supplementary Section7。
Extended Data Fig.7demonstrates adaptive control in a four-ball transport scenario, where ball repositories are weighted and combined by volume.Initially, att1, F-TAC Hand plans to grasp a golf ball and softball using its little finger and remaining digits.To illustrate the control mechanism, we introduce a manual perturbation during golf-ball acquisition, causing F-TAC Hand to secure the golf ball with its index finger att2。The occupation of the index finger invalidates the planned softball grasp (light grey in Extended Data Fig.7), necessitating a strategy revision.Through comprehensive tactile sensing, F-TAC Hand detects the situation and adapts by executing an alternative approachâgrasping a yoga ball using its thumb, index and middle fingers.While this solution was initially considered suboptimal, it demonstrates the systemâs capacity for real-time adaptation to unexpected conditions.
Further information on research design is available in theNature Portfolio Reporting Summarylinked to this article.
The data that support the findings of this study are available from Zenodo55((https://doi.org/10.5281/zenodo.15193164)。
The code used for performing grasp synthesis and training calibration models is available from Zenodo55((https://doi.org/10.5281/zenodo.15193164)。
Brooks, R. A. Intelligence without representation.Artif.Intell。 47, 139â159 (1991).
文章一个 Google Scholar一个
Segal, M. A more human approach to artificial intelligence.自然 571, S18 (2019).
文章一个 Google Scholar一个
Billard, A. G. In good hands: a case for improving robotic dexterity.科学 386, eadu2950 (2024).
文章一个 Google Scholar一个
Ma, R. R. & Dollar, A. M. On dexterity and dexterous manipulation.在Proc。IEEE International Conference on Robotics and Automation(IEEE, 2011).
Billard, A. & Kragic, D. Trends and challenges in robot manipulation.科学 364, eaat8414 (2019).
文章一个 Google Scholar一个
Lepora, N. F. The future lies in a pair of tactile hands.科学。机器人。 9, eadq1501 (2024).
文章一个 Google Scholar一个
Jacobsen, S. C., Wood, J. E., Knutti, D. F. & Biggers, K. B. The UTAH/M.I.T.dextrous hand: work in progress.int。J. Robot。res。 3, 21â50 (1984).
文章一个 Google Scholar一个
Deimel, R. & Brock, O. A novel type of compliant and underactuated robotic hand for dexterous grasping.int。J. Robot。res。 35, 161â185 (2016).
文章一个 Google Scholar一个
Hughes, J. A. E., Maiolino, P. & Iida, F. An anthropomorphic soft skeleton hand exploiting conditional models for piano playing.科学。机器人。 3, eaau3098 (2018).
文章一个 Google Scholar一个
De Pascali, C., Naselli, G. A., Palagi, S., Scharff, R. B. N. & Mazzolai, B. 3D-printed biomimetic artificial muscles using soft actuators that contract and elongate.科学。机器人。 7, eabn4155 (2022).
文章一个 Google Scholar一个
Dexterous Hand Series(Shadow Robot, accessed 15 December 2024);https://www.shadowrobot.com/dexterous-hand-series/
Morgan, A. S., Hang, K., Wen, B., Bekris, K. & Dollar, A. M. Complex in-hand manipulation via compliance-enabled finger gaiting and multi-modal planning.IEEE机器人。汽车。Lett。 7, 4821â4828 (2022).
Li, Y. et al.Grasp multiple objects with one hand.IEEE机器人。汽车。Lett。 9, 4027â4034 (2024).
文章一个 Google Scholar一个
OpenAI: Andrychowicz, M. et al.Learning dexterous in-hand manipulation.int。J. Robot。res。 39, 3â20 (2020).
文章一个 Google Scholar一个
Qin, Y. et al.DexMV: imitation learning for dexterous manipulation from human videos.在Proc。European Conference on Computer Vision570â587 (Springer, 2022).
Chen, T. et al.Visual dexterity: in-hand reorientation of novel and complex object shapes.科学。机器人。 8, eadc9244 (2023).
文章一个 Google Scholar一个
Ma, Y. J. et al.Eureka: human-level reward design via coding large language models.在Proc。国际学习表现会议(ICLR, 2024).
Westling, G. & Johansson, R. S. Factors influencing the force control during precision grip.经验。脑部。 53, 277â284 (1984).
文章一个 Google Scholar一个
Vallbo, A. B. et al.Properties of cutaneous mechanoreceptors in the human hand related to touch sensation.哼。Neurobiol. 3, 3â14 (1984).
Johansson, R. S. & Flanagan, J. R. Coding and use of tactile signals from the fingertips in object manipulation tasks.纳特。Neurosci牧师。 10, 345â359 (2009).
文章一个 Google Scholar一个
Penfield, W. & Boldrey, E. Somatic motor and sensory representation in the cerebral cortex of man as studied by electrical stimulation.脑 60, 389â443 (1937).
文章一个 Google Scholar一个
Kaas, J. H., Nelson, R. J., Sur, M., Lin, C.-S.& Merzenich, M. M. Multiple representations of the body within the primary somatosensory cortex of primates.科学 204, 521â523 (1979).
文章一个 Google Scholar一个
Kapandji, A. Clinical test of apposition and counter-apposition of the thumb.安。Chir.主要的 5, 67â73 (1986).
文章一个 Google Scholar一个
Feix, T., Romero, J., Schmiedmayer, H.-B., Dollar, A. M. & Kragic, D. The grasp taxonomy of human grasp types.IEEE Trans。哼。马赫。系统。 46, 66â77 (2015).
文章一个 Google Scholar一个
Yao, K. & Billard, A. Exploiting kinematic redundancy for robotic grasping of multiple objects.IEEE Trans。机器人。 39, 1982â2002 (2023).
文章一个 Google Scholar一个
She, Y. et al.Cable manipulation with a tactile-reactive gripper.int。J. Robot。res。 40, 1385â1401 (2021).
文章一个 Google Scholar一个
Lloyd, J. & Lepora, N. F. Pose-and-shear-based tactile servoing.int。J. Robot。res。 43, 1024â1055 (2024).
文章一个 Google Scholar一个
Zhao, Z. et al.Tac-Man: tactile-informed prior-free manipulation of articulated objects.IEEE Trans。机器人。 41, 538â557 (2024).
文章一个 Google Scholar一个
Turing, A. M. Computing machinery and intelligence.头脑 59, 433â460 (1950).
文章一个 MathSciNet一个 Google Scholar一个
Mitchell, M. Debates on the nature of artificial general intelligence.科学 383, eado7069 (2024).
Sancho-Bru, J. L., Perez-Gonzalez, A., Vergara-Monedero, M. & Giurintano, D. A 3-D dynamic model of human finger for studying free movements.J. BioMech。 34, 1491â1500 (2001).
文章一个 Google Scholar一个
Woodham, R. J. Photometric method for determining surface orientation from multiple images.选择。工程。 19, 139â144 (1980).
文章一个 Google Scholar一个
Yuan, W., Dong, S. & Adelson, E. H. GelSight: high-resolution robot tactile sensors for estimating geometry and force.传感器 17, 2762 (2017).
文章一个 Google Scholar一个
Siciliano, B., Khatib, O. & Kröger, T.Springer Handbook of Robotics卷。200 (Springer, 2008).
Ichnowski, J., Avigal, Y., Satish, V. & Goldberg, K. Deep learning can accelerate grasp-optimized motion planning.科学。机器人。 5, eabd7710 (2020).
文章一个 Google Scholar一个
Liu, T., Liu, Z., Jiao, Z., Zhu, Y. & Zhu, S.-C.Synthesizing diverse and physically stable grasps with arbitrary hand structures using differentiable force closure estimator.IEEE机器人。汽车。Lett。 7, 470â477 (2021).
文章一个 Google Scholar一个
Hill, M., Nijkamp, E. & Zhu, S.-C.Building a telescope to look into high-dimensional image spaces.Q. Appl.数学。 77, 269â321 (2019).
文章一个 MathSciNet一个 Google Scholar一个
Mahler, J. et al.Dex-Net 2.0: deep learning to plan robust grasps with synthetic point clouds and analytic grasp metrics.在Proc。Robotics: Science and Systems(RSS, 2017).
Li, P. et al.GenDexGrasp: generalizable dexterous grasping.在Proc。IEEE International Conference on Robotics and Automation(IEEE, 2023).
Yousef, H., Boukallel, M. & Althoefer, K. Tactile sensing for dexterous in-hand manipulation in roboticsâa review.Sens. Actuators A 167, 171â187 (2011).
文章一个 Google Scholar一个
Fishel, J. A. & Loeb, G. E. Sensing tactile microvibrations with the BioTacâcomparison with human sensitivity.在Proc。International Conference on Biomedical Robotics and Biomechatronics(IEEE, 2012).
Kim, J. et al.Stretchable silicon nanoribbon electronics for skin prosthesis.纳特。社区。 5, 5747 (2014).
文章一个 Google Scholar一个
Liu, H. et al.Finger contact sensing and the application in dexterous hand manipulation.Auton.机器人 39, 25â41 (2015).
文章一个 Google Scholar一个
Ward-Cherrier, B. et al.The TacTip family: soft optical tactile sensors with 3D-printed biomimetic morphologies.Soft Robot. 5, 216â227 (2018).
文章一个 Google Scholar一个
Li, W. et al.F-TOUCH sensor: concurrent geometry perception and multi-axis force measurement.传感器 21, 4300â4309 (2020).
文章一个 Google Scholar一个
Sun, H., Kuchenbecker, K. J. & Martius, G. A soft thumb-sized vision-based sensor with accurate all-round force perception.纳特。马赫。Intell。 4, 135â145 (2022).
文章一个 Google Scholar一个
Li, W. et al.l3F-TOUCH: a wireless GelSight with decoupled tactile and three-axis force sensing.IEEE机器人。汽车。Lett。 8, 5148â5155 (2023).
文章一个 Google Scholar一个
Li, W. et al.MiniTac: an ultra-compact 8âmm vision-based tactile sensor for enhanced palpation in robot-assisted minimally invasive surgery.IEEE机器人。汽车。Lett。 9, 11170â11177 (2024).
文章一个 Google Scholar一个
Curless, B. & Levoy, M. A volumetric method for building complex models from range images.在Proc。Annual Conference on Computer Graphics and Interactive Techniques, 303â312 (ACM, 1996).
Wang, P. et al.NeuS: learning neural implicit surfaces by volume rendering for multi-view reconstruction.在Proc。神经信息处理系统的进步(NeurIPS, 2021).
Simon, H. A. Rational choice and the structure of the environment.Psychol.修订版 63, 129 (1956).
文章一个 Google Scholar一个
Merleau-Ponty, M.Phenomenology of Perception(Routledge, 1962).
Varela, F. J., Thompson, E. & Rosch, E.The Embodied Mind, Revised Edition: Cognitive Science and Human Experience(MIT Press, 2017).
Vong, W. K., Wang, W., Orhan, A. E. & Lake, B. M. Grounded language acquisition through the eyes and ears of a single child.科学 383, 504â511 (2024).
文章一个 Google Scholar一个
Zhao, Z. et al.Embedding high-resolution touch across robotic hands enables adaptive human-like grasping: data and codes.Zenodo https://doi.org/10.5281/zenodo.15193164(2025)。
Ezgripper(SAKE Robotics, accessed 15 December 2024);https://sakerobotics.com/
Barrett BH8-282 3-Fingered Gripper(Barrett Technology, accessed 15 December 2024);https://advanced.barrett.com/barretthand
Allegro Hand(Wonik Robotics, accessed 15 December 2024);https://www.wonikrobotics.com/research-robot-hand
We thank Z. Chen (BIGAI) and Q. Gao (PKU) for their work on figure design.We are grateful to H. Liang (BIGAI) for his assistance with mechanical design, to M. Toszeghi (QMUL) for his proofreading efforts, to W. Yuan (UIUC), B. Dai (PKU, BIGAI) and Y. Su (BIGAI) for engaging in discussions, to Z. Qi (THU) for his assistance with grasping classification data, to Y. Niu (PKU, BIGAI) for his dedication in coding the Kinova driver, to L. Ruan (UCLA) for his assistance in voiceover, and to Y. Yang (PKU) and Y. Wang (PKU) for their contributions to the Shadow Hand hardware, including the video setup by Q. Wang (PKU).We acknowledge the support from J. Cui (BIGAI, PKU), Y. Ma (BIGAI), Y. Wu (BIGAI, PKU) and M. Han (UCLA) in creating portions ofSupplementary Video。Special thanks are due to W. Zhang and L. Li from the 301 Hospital for their professional expertise in human-hand tactile sensing, and to R. Zhang and NVIDIA for their generous graphics processing units and hardware support.We are grateful to Offbeat Ripple Studio for their expertise and collaboration in producingSupplementary Video。Finally, we extend our gratitude to the National Comprehensive Experimental Base for Governance of Intelligent Society, Wuhan East Lake High-Tech Development Zone, for their generous support.This work is supported in part by the National Science and Technology Major Project (2022ZD0114900; S.-C.Z. and Y.Z.), the National Natural Science Foundation of China (62376031; Y.Z.) and the Beijing Nova Program (20230484487; Y.Z.).
作者没有宣称没有竞争利益。
自然机器智能thanks Changhao Xu and Kuanming Yao for their contribution to the peer review of this work.
Publisherâs noteSpringer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.
, Exploded view of a vision-based tactile sensor as a distal phalanx.b, Electrical components and system scheme.c, Schematic of the F-TAC Hand assembly and cable-driven mechanism.d, Finger model with mechanical components.e, Thumb model with mechanical components.Extended Data Fig. 2 Kinematic model of the F-TAC Hand.
The transformations between these coordinates are represented in DH tables.In these tables,一个我â1is the distance alongx我â1之间z我â1和z我,,,,α我â1is the angle aboutx我â1之间z我â1和z我,,,,d我is the distance alongz我之间x我â1和x我, 和我我is the angle aboutx我之间x我â1和x我。Extended Data Fig. 3 Multi-object landscape.We examine the grasp relationships among six example objects (pawn, vase, multimeter, board eraser, coffee bottle, and Coke can) using a large disconnectivity graph.This landscape comprises 79 basins, each categorized into one of three grasp types (力量,,,,中间的,,,,
) based on the majority of grasps it contains.Within each basin, similar grasp strategies are observed across different objects, as illustrated in (一个)-(f)。Extended Data Fig. 4 Extended results of the grasp generation algorithm.Visualization of grasp samples with t-SNE reveals that most力量grasps and精确
中间的grasps lying in between.This map indicates a strong alignment between the generated results and human definitions of grasp types.Extended Data Fig. 5 More adaptive behaviors by the F-TAC Hand.F-TAC Handâs stable grasping with some fingers disabled (shown in light gray), mirroring human compensation for finger injuries.Extended Data Fig. 6 Extension to other hand topologies.Our algorithm generalizes to various hand types without requiring specific mechanical structures or training samples.一个
, two-finger EZGripeer
,,,,c, Barrett 3-fingered Gripper57,,,,dfour-finger Allegro Hand58, 和e, anthropomorphic Shadow Hand11。Extended Data Fig. 7 Illustration of methods to realize human-like dexterous grasping.F-TAC Hand employs a two-stage strategy for multi-object transportation.It adjusts for in-hand position variations due to perturbations, dynamically adapting its second-stage strategy to prevent collisions and maximize efficiency (Light gray in the grasping repository indicates that grasping strategies are rendered infeasible at the current time).补充信息权利和权限开放访问This article is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, which permits any non-commercial use, sharing, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if you modified the licensed material.您没有根据本许可证的许可来共享本文或部分内容的改编材料。The images or other third party material in this article are included in the articleâs Creative Commons licence, unless indicated otherwise in a credit line to the material.
(2025)。https://doi.org/10.1038/s42256-025-01053-3下载引用已收到:
公认:
出版:
doi:
DOI: https://doi.org/10.1038/s42256-025-01053-3