AutoDex是一个端到端的自主系统，无需任何人工干预即可收集物理标定的灵巧抓取试验——在100个日常物品上生成了3,593次真实世界的抓取尝试。通过自动化物体位姿估计、碰撞安全执行、成功/失败标记以及场景重置，AutoDex实现了每小时75.5次试验，速度几乎是遥操作的4倍。
目录
研究人员构建了什么
AutoDex是一个完整的硬件-软件流水线，将模拟的抓取候选对象转化为真实多指手（Allegro和Inspire）上经过物理验证和标记的试验。该系统完全无人值守运行：使用密集的20摄像头阵列估计物体的6自由度位姿，从模块化候选生成器中过滤并选择可执行的抓取，在物理机器人臂上执行抓取，检查提举保持成功（提升5厘米，保持3秒），标记试验，并重置物体进行下一次尝试。
三个关键创新使这成为可能。首先，密集多视角感知系统克服了抓取执行过程中手与物体之间的遮挡，即使在机器人手覆盖了物体大部分区域时也能保持可靠的位姿跟踪。其次，残余力矩安全监控器检测意外接触并中止不安全动作，允许无人值守操作而无需担心损坏。第三，主动物体重置模块使用第二个机器人或手动重定向器在稳定姿态之间移动物体，确保在所有方向上用尽候选集。收集的数据库包括同步的机器人状态日志、多视角视频、相机校准数据以及每个试验的成功/失败标签——全部自主生成。
关键结果
研究人员在从100个物体数据库中抽取的20个物体子集上评估了AutoDex，这些物体涵盖塑料、金属、木材、硅胶、纸张、胶带和陶瓷物品。主要指标是自主吞吐量与遥操作相比。AutoDex实现了每小时75.5次试验，而熟练的遥操作员仅能完成每小时19.3次试验——提高了3.9倍。这一增益并非来自更快的执行速度（平均循环时间为48.2秒，主要由机器人运动决定），而是来自消除人类空闲时间和实现24/7无人值守采集。
物理验证显著提高了所生成抓取数据库的质量。当研究人员测试下游的检索式执行策略时，经过AutoDex真实世界试验筛选的抓取在新场景中成功率为79.2%，而仅由候选生成器（纯模拟）选择的抓取成功率仅为18.3%。主动物体重置模块增加了覆盖范围：无重置时，系统从每个物体平均2.3个稳定姿态采集试验；有重置时，覆盖了5.7个姿态，探索的候选空间几乎增加了两倍。
| 指标 | AutoDex（自主） | 遥操作（人类） |
|---|---|---|
| 吞吐量（试验/小时） | 75.5 | 19.3 |
| 平均循环时间（秒） | 48.2 | — |
| 下游成功率（物理验证） | 79.2% | — |
| 下游成功率（仅模拟） | 18.3% | — |
| 每个物体覆盖的稳定姿态数（无重置） | 2.3 | — |
| 每个物体覆盖的稳定姿态数（有重置） | 5.7 | — |
工作原理
AutoDex在一个闭环中运行，包含五个阶段。首先，位姿估计：一个20摄像头阵列捕捉同步图像，系统运行现成的6自由度位姿估计器来定位桌面上的物体。高摄像头密度确保即使在机器人手接近时，至少有两个摄像头拥有无遮挡视野，从而在关键的预抓取阶段保持跟踪精度。
其次，候选选择：模块化抓取生成器（例如GraspIt！或学习模型）产生一组手腕位姿和手部配置。AutoDex使用碰撞检查器针对估计的物体位姿和已知场景几何（桌子、障碍物）进行过滤。然后选择尚未针对当前稳定姿态尝试过的最高排名可行候选。
第三，带安全监控的执行：机器人臂规划轨迹到预抓取位姿，闭合手指，然后提升5厘米并保持3秒。在提升过程中，每个关节上运行残余力矩监控器：如果测量的力矩超过预设阈值（指示意外接触，例如与桌子或掉落的物体接触），系统中止并缩回到初始位置。此监控器仅在接触关键段（靠近桌面）激活，以避免误报。
第四，成功/失败标记：手腕处的力-力矩传感器检测物体在3秒保持后是否仍在手中。如果测量负载与物体重量（来自数据库）匹配，则试验标记为“成功”；否则为“失败”。这消除了人工分类的需要。
第五，重置：如果当前物体姿态仍有未尝试的候选，机器人将物体放回并重新开始。否则，主动重置模块（第二个机器人臂或基于重力的重定向器）倾斜或推动物体到新的稳定姿态，然后重新估计姿态并继续。每个试验记录——视频、位姿、候选参数、标签——都保存到数据库中。
48.2秒循环的组成分解为：机器人执行（24.8秒）、缩回运动（11.9秒）、感知（7.8秒）和运动规划（3.8秒）。感知是唯一可以加速的步骤（例如，使用更快的位姿估计器），但执行运动仍然是主要瓶颈。
对机器人技术的重要性
灵巧抓取是机器人在家庭、仓库和工厂中处理任意物体的先决条件。但训练稳健的策略需要大量真实世界数据——而遥操作产生数据的速度太慢。AutoDex证明了全自动数据收集不仅是可能的，而且是实用的：系统可以在夜间运行，收集数千个标记试验，而无需人类参与。
这对部署二手协作机器人或BotMarket上的类人机器人的公司有直接影响。AutoDex方法意味着抓取数据集可以以接近每小时75次试验的速度整理，使下游任务（如模仿学习或强化学习）能够在数十万次真实世界抓取尝试上进行训练。数据库本身成为一种可复用资产：可以立即回答“Allegro手对圆柱形物体的成功抓取”之类的查询，然后在新场景中重新检查可行性。
此外，系统的安全监控器和自动重置使其适用于人类监督成本高昂的工业部署。需要对各种物品进行自动化拾放的工厂可以调整AutoDex的流水线以适应其特定的臂-手组合和物体集合。
局限性与未解决问题
AutoDex目前仅在固定工作单元上收集稳定的力抓取。它不处理双手协调、移动操作、手指滚动重抓或功能性抓取（如工具使用和交接）——所有这些对于更高级的任务都至关重要。该系统还继承了其抓取生成器的盲点：如果生成器无法为给定物体提出可行候选（例如，需要在接触过程中进行动态手指运动），AutoDex将永远不会测试它。此外，高摄像头密度（20个摄像头）使工作单元庞大且昂贵，尽管论文指出实际上只需要10-12个摄像头。
最后，成功/失败标记仅检查提举保持，而不是功能成功（例如，抓取是否可以用于倒水或插入）。扩展到任务条件标记仍然是一个开放问题。
常见问题解答
AutoDex如何将抓取标记为成功或失败？ 它使用手腕处的力-力矩传感器在5厘米提升和3秒保持期间进行测量。如果测量负载与已知物体重量匹配，则试验标记为成功；否则为失败。
AutoDex在采集过程中是否需要任何人工监督？ 不需要——它完全无人值守运行。安全监控器中止不安全动作，主动重置模块无需人工帮助即可重新定向物体。
支持哪些机器人手？ 论文演示了AutoDex与Allegro Hand和Inspire Hand（均为4指灵巧手）的使用。该架构与手部无关，只要机器人臂能规划无碰撞轨迹即可。
AutoDex总共收集了多少次试验？ 数据库包含3,593次物理执行并自动标记的试验，涵盖100个日常物品，包括多种几何形状和材料。
结论
AutoDex证明了灵巧抓取数据收集可以在实际吞吐量下实现全自动化。通过集成密集感知、碰撞安全执行、物理标记和自动重置，它将遥操作的速率提高了四倍，同时消除了人类疲劳。结果是构建灵巧操作所需的大规模真实世界数据集的可扩展路径。
您会信任自主系统来标记您的下一个抓取训练集，还是需要人工验证？