搬运箱子、抬起托盘、移动椅子等日常任务,往往都需要两条机械臂协同配合,共同支撑、稳定并操控物体。通过在两个机械臂之间分配接触点,双臂抓取能够提升抓取稳定性并平衡负载,从而稳健地操控大型物体;若仅使用单臂,这类物体很容易造成不稳定的交互。尽管双臂抓取十分重要,尤其是在局部观测条件下,针对基于学习的双臂抓取生成研究仍然相对有限。
引言
为应对这些挑战,PartialBiGrasp能够直接根据单次RGB-D观测生成稳定的双臂抓取姿态。该方法不依赖完整的物体几何信息,也不需要显式重建形状,而是推理隐藏的局部几何结构,为具有稀疏可抓取区域的大型物体预测受力平衡且无碰撞的双臂抓取组合。
据作者所知,PartialBiGrasp是首个针对单视角局部点云进行双臂抓取生成的框架。它将任务分解为单臂抓取生成、基于力闭合的抓取配对,以及局部几何条件化精化,从而能够在局部观测下高效生成稳定的双臂抓取姿态。
该方法提出了一套由占据状态条件化的几何推理流程,结合卷积占据网络与抓取对齐的局部特征,隐式推断可抓取性、物体局部几何、无碰撞接触区域和夹爪可行性,并通过基于采样的精化过程进一步提升抓取质量。
研究通过解析力闭合验证、大规模仿真实验和真实机器人部署对该方法进行评估。结果表明,该方法能够稳健地生成双臂抓取姿态,并在多种大型物体场景中成功完成操作。
双臂抓取合成
利用前文所述的隐式几何表示,双臂抓取分两个阶段生成。首先,根据观测到的物体几何信息预测可行的单臂抓取候选。随后,使用经过学习的力闭合判别器评估抓取组合。

实验设置
所有模型均在DG16M数据集上训练,训练分为三个阶段。
首先,利用由DG16M中有效抓取接触点生成的占据状态监督、抓取姿态监督和可抓取区域监督,对全局几何编码器与单臂抓取合成头进行联合训练。
接下来,训练双臂抓取判别器,使其判断候选抓取组合是否满足力闭合约束。
最后,利用局部占据状态监督训练局部几何编码器,使其能够在局部观测下引导占据状态驱动的抓取精化。
该框架在DG16M的未见过划分上,以及一组使用RealSense D455采集并创建数字孪生的真实物体上进行测试。所有实验均在单块NVIDIA RTX 3090 GPU上完成。

局限性
在生成抓取姿态时,该框架没有针对特定机器人构型显式建模抓取可达性或运动可行性。因此,部分预测的抓取组合可能会因运动学约束或机械臂碰撞而无法在双臂系统上执行。实际部署时仍需由运动规划器对抓取姿态进行验证并完成执行。
数据集
该方法使用DG16M数据集进行训练和评估。该数据集包含来自ShapeNet的4,142个大型物体网格,每个物体都通过解析力闭合评估生成并标注了约2,000组正、负双臂抓取组合。
其中300个物体留作测试,其余用于训练。对于每个物体,研究者从随机采样的视角渲染RGB-D图像,并将由物体掩码筛选出的可见深度测量值转换为局部点云,以生成单视角局部观测。所有定量结果均报告于这一未见过的测试划分上。
为训练单臂抓取生成模块,研究者从DG16M提供的抓取组合中提取不重复的有效单臂抓取。所得抓取姿态与接触位置被用作抓取姿态回归的监督信号。
可抓取性标签由这些接触位置生成。正样本对应有效的单臂抓取接触点;负样本则取自标注可抓取性地图中可抓取性得分为零的区域。该地图通过基于距离的加权函数,在物体表面传播DG16M中有效单臂抓取接触位置的可抓取性得分构建而成。

基线方法详情
首先使用ContactGraspNet根据观测到的局部点云生成单臂抓取候选。随后依据预测的抓取质量筛选高分候选。接着通过最远点采样获得空间分布多样的抓取候选集合及其对应的点特征。
研究评估了两种配对策略。
基于分类器的配对
使用DG16M中的力闭合标注训练二元抓取组合分类器。对于每个可见观测,将真实抓取组合与距离最近的可见ContactGraspNet抓取候选进行匹配。随后拼接相应的点特征,用于预测该抓取组合是否满足力闭合约束。
推理时,分类器会为所有候选抓取组合评分,并保留得分最高的候选组合。
结果
评估指标包括力闭合率(FC%)、抓取成功率(GS%)和组合碰撞率(PC%)。
- FC%表示预测抓取组合满足解析力闭合约束的平均比例。
- GS%表示在仿真中成功抬起并 удерж住物体的预测抓取组合平均比例。
- PC%表示与物体几何结构发生碰撞的预测抓取组合平均比例。
更高的FC%和GS%代表更好的抓取组合质量,而更低的PC%代表更好的几何可行性。
Coverage衡量满足力闭合约束的抓取组合集合覆盖物体可抓取区域的程度。
Coverage的计算方式是:在所有满足力闭合约束的抓取组合中,由两只夹爪之间的体积所包围的正可抓取性点数量,除以正可抓取性点总数。
真实环境演示
所有真实环境实验均在异构双臂平台上进行。该平台由一台xArm7和一台配备平行夹爪的xArm6 Lite组成。工作空间上方安装了一台RealSense D455 RGB-D相机,为抓取流程提供单视角RGB-D观测。
研究者使用放置在工作空间内的ArUco标记板完成相机标定。在机器人平台执行之前,对生成的双臂抓取姿态进行筛选,仅保留无碰撞且满足运动学可达性的抓取组合。
随后执行筛选后的抓取姿态,用于评估局部观测条件下,以及面对此前未见过的物体几何形状时的仿真到现实迁移能力。

常见问题
PartialBiGrasp解决什么问题? 它能够根据单次单视角局部RGB-D观测,为大型物体生成稳定的双臂抓取姿态。
该方法如何处理隐藏的物体几何? 它利用占据状态条件化的几何推理和局部几何特征,隐式推断可抓取性、接触区域以及无碰撞的抓取精化结果。
训练和评估使用了什么数据集? 该方法使用DG16M数据集,其中包含4,142个大型物体网格,每个物体约有2,000组正、负双臂抓取组合。
该框架有哪些局限? 它没有显式建模特定机器人构型下的可达性或运动可行性,因此部分预测的抓取组合需要经过运动规划器验证后才能执行。
