机器人操作中的大规模数据集
近年来，机器人学习领域经历了显著的范式转变：研究重点已从小规模、特定任务数据集，转向大规模、跨本体数据。为了实现更强的泛化能力并训练通用机器人基础模型，研究界通过整合来自不同机器人平台的数据，推出了多个具有里程碑意义的数据集。
例如，Open X-Embodiment 汇集了数十万条示范轨迹，旨在凭借庞大的数据规模覆盖多样化的环境与任务。RT-1 和 BridgeData V2 等研究进一步表明，在海量数据集上训练的模型能够展现出令人瞩目的零样本迁移能力，适应未见过的指令和场景。这些数据集的成功主要得益于其规模，使模型能够学习通用的视觉运动先验，从而在非结构化的真实世界环境中完成物体操作与搬运任务。
面向工业操作的高精度数据集
近年来，机器人学习的进步很大程度上得益于在多样化环境中采集的大规模数据集。Open X-Embodiment、RT-1 和 BridgeData V2 等基础性项目汇集了大量示范数据，以支持通用机器人控制。这些数据集通常聚焦于家庭或厨房等非结构化环境，机器人执行的多为抓取、放置和物体重新排列等基础短时域任务。
为弥补基础技能的局限，研究开始转向长时域、富接触操作任务。FurnitureBench 在长时域任务方面取得了进展。然而，尽管家具组装具有更长的时间跨度，其装配过程通常涉及配合较为宽松的部件，缺乏精密制造所要求的严格公差。
为应对高精度操作的挑战，REASSEMBLE 和 RH20T 等近期基准采用了 NIST Task Board 等标准化工业协议。这些研究强调，对于齿轮啮合或连接器插入等任务，仅依靠视觉感知往往并不足够，因此需要使用高频力矩传感器和本体感知。虽然引入这些模态能够增强物理反馈，但也会带来硬件依赖，使数据采集更加复杂，往往限制数据集规模。例如，REASSEMBLE 约包含 4,000 条示范数据。
相比之下，本工作连接了大规模通用数据集与高精度工业需求之间的鸿沟。当数据规模足够大、硬件具有多样性时，基于视觉的策略也能够隐式学习严格公差装配所需的接触动力学。为此，该数据集包含 5,000 条轨迹，覆盖广泛的工业任务场景，并采集自包括 Franka、Realman 和 LEJU 在内的多个机器人平台。此外，为实现对交互质量的严格评估，部分数据配备了触觉传感器，可作为高保真基准，用于细粒度测试与验证。
PRISM 数据集
PRISM，即 Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing（多模态感知的精密、富接触真实世界工业技能数据集），是一个面向富接触工业操作的数据集。
数据采集与处理
不同于大多数依赖单一遥操作接口的现有数据集，本数据集采用三种互补的遥操作方式采集示范数据：外骨骼式、跟踪器式和 VR 式。这种设计不仅扩大了人类控制风格与交互行为的覆盖范围，还能够在受控条件下比较：对于同一任务，在不同遥操作模态下采集的数据在质量方面有何差异，包括平滑性、精度、接触稳定性和失败率。同时，这也支持研究这些差异如何影响下游学习性能。
数据集包含硬件配置、多模态同步与标定信息，以及后处理步骤，以确保跨机器人、末端执行器和采集会话获得一致且高保真的多模态记录。
处理流程
数据采集完成后，原始日志会被处理为单回合文件，其中包含整洁的时间戳、经过标定的传感器参数，以及适用于多模态学习的元数据。由于不同传感器以各自不同的原生频率运行，所有数据流均保留原始时间戳。数据集为每个回合提供索引，训练时可通过最近邻匹配或插值等方法，依据时间戳对齐不同模态。
不完整的回合会被移除；根据任务开始与结束标记以及操作员标注，数据中的起始和结束空闲片段也会被裁剪。
统一的回合封装
所有处理后的数据均按照三个平台共用的统一模式进行序列化。该模式包括：
- 机器人状态与动作，包括关节角度和力矩、末端执行器位姿以及夹爪状态
- 末端执行器力/力矩（如有）
- 多视角 RGB-D 观测
- 视触觉图像（如有）
- 标定参数
- 时间戳
- 平台标识符
- 任务标识符
- 结果标签
- 志愿者提供的评分
这种标准化的数据构成支持在异构机器人、末端执行器和遥操作接口之间进行训练与评估，同时保持多模态数据的一致对齐。
实验设置
平台
实验在一台双臂 Realman 机器人上进行，该机器人的本体与数据采集阶段所使用的机器人一致，并配备三自由度腰部。每条机械臂均装有 3D 打印的平行夹爪，视觉观测则由 Intel RealSense D515 RGB-D 相机采集。
工作空间布局、背景和桌面设置均与数据采集环境保持一致，以确保评估反映数据集中相同的传感配置与物理约束。
实验流程
策略在工业工作单元中采集的三个代表性任务上进行评估：
- 电子元件插拔
- 游标卡尺包装
- 基于传送带的分拣
这些任务分别代表工业操作中的三类常见场景：精密富接触操作、产品包装和动态物体分拣。
每项任务采集 200 条示范数据。每条示范均包含同步的 RGB-D 观测、动作序列，以及末端执行器六轴力和力矩测量值。
常见问题
PRISM 数据集是为哪些任务设计的？ PRISM 面向富接触工业操作与多模态机器人学习。
PRISM 包含多少条轨迹？ 该数据集包含 5,000 条轨迹，覆盖广泛的工业任务场景。
数据采集使用了哪些遥操作方法？ 示范数据通过外骨骼式、跟踪器式和 VR 式遥操作方法采集。
策略评估使用了哪些任务？ 策略评估任务包括电子元件插拔、游标卡尺包装和基于传送带的分拣。