动作中的视觉：从人类示范中学习主动感知

“Vision in Action: Learning Active Perception from Human Demonstrations”提出了一种用于双手机器人操作的主动感知系统ViA，该系统直接从人类演示中学习与任务相关的主动感知策略，性能显著优于基线系统。 以下是对该系统的详细介绍：核心挑战灵活硬件缺失：用于类似人类视线控制的灵活硬件难以实现。人类能轻松协调眼睛、颈部和躯干运动引导视线，但机器人复制这种能力困难，多数依赖固定或受限摄像头（如2自由度颈部），限制了灵活调整视点能力。同步注视运动难：设计能同步人类注视和机器人摄像头运动的界面面临挑战。虚拟现实虽为遥控机器人和捕捉人类主动感知提供强大界面，但实现精确镜像人类运动并实时传输视觉反馈，需要快速电机控制和低延迟数据流，对当今硬件具挑战性。策略可扩展性差：人类注视由自上而下和自下而上注意力驱动，此前在机器人中复制人类注视行为多依赖手工设计启发式算法，此类策略难以泛化到各种任务，缺乏可扩展性方法让机器人学习主动感知策略以最大化与任务相关信息增益。硬件设计颈部设计：用现成的6自由度ARX5机械臂作为机器人颈部，模仿人类头部运动源于整个上半身运动的特点，使机器人能灵活调整视角。头部主动摄像头可实时传输RGB、深度和同步摄像头姿态数据。视觉传感器：用安装在机器人颈部末端执行器上的iPhone 15 Pro作为主要视觉传感器，满足实时数据传输要求。机械臂配置：为实现双手操作，用两个额外的6自由度ARX5机械臂，每个配备鳍状平行爪夹持器，且都安装在定制的3D打印肩部结构上。遥操作界面设计目的：为收集人体演示数据，设计可同时控制机械臂和主动颈部的遥操作界面。机械臂遥操作采用全尺寸双手外骨骼实现关节 - 到 - 关节映射；头部遥操作实现VR界面，精确捕捉人类感知策略，记录有助于任务成功的视觉注意模式。挑战：物理运动导致延迟加剧，机器人控制延迟使摄像头控制滞后，用户头部运动与视觉反馈不匹配，可能引发晕动症。解决方案：通过中间3D场景表示实现视图解耦，使用户视图与机器人视图分离。用户视点根据头部运动即时更新，无需等待机器人物理匹配请求视点，虽渲染视图可能有信息缺失小区域，但与用户最新头部姿势一致，保持感知连续性和减少不适。组成部分世界坐标系中的点云构建：将世界坐标系W定义为机器人颈部固定基座，每个RGB - D帧通过相机内参和t时刻机器人头部姿态变换到世界坐标系中，得到中间3D场景表示的点云。低延迟视图渲染：从点云用用户最新头部姿态为VR显示器渲染立体RGB视图，为用户提供即时视觉反馈，结合高刷新率确保视点更新流畅，降低感知延迟。利用聚合头部运动进行点云更新：使用聚合用户头部姿态，在更长间隔K内更新机器人头部姿态，点云以较低频率与机器人新RGB - D观测值异步更新。学习双手操作的主动感知策略网络设计：设计基于扩散策略的视觉运动策略网络，利用主动头部摄像头设置从人类演示中学习。策略基于视觉和本体感受观察结果，预测双手手臂操控动作和模仿人类主动感知行为的颈部动作。坐标表示与输入输出：将颈部和手臂末端执行器姿态表示在共同世界框架中。每个时间步t，策略接收活动头部摄像头当前RGB图像观测值I_t作为视觉输入，以及包括颈部、左右臂末端执行器姿态和两个夹持器宽度的本体感受状态P_t。采用DINOv2预训练的ViT作为RGB图像视觉编码器，输出未来动作序列，前n_a个动作在实体机器人上执行。实验评估任务设计：通过三项具有挑战性的多阶段任务评估系统，包括袋子任务（基于交互式感知的物体检索）、杯子任务（带有主动视点切换的杯子摆放）、青柠和花盆任务（双手协调和精确对准）。摄像头设置比较：将主动头部摄像头设置与主动头部和腕部摄像头、胸部和腕部摄像头两种备选配置比较。结果显示，在各项任务中，使用单个主动头部摄像头的ViA系统表现更优，说明主动头部摄像头设置能有效捕捉与任务相关信息。视觉表征比较：将ViA使用的DINOv2视觉主干网络与ResNet - DP、DP3两种备选视觉表征比较。实验表明，DINOv2视觉主干网络在各项任务中的成功率更高，能更好地编码视觉信息，为策略学习提供有力支持。遥操作界面比较：通过用户研究比较采用点云渲染方法的系统与传统RGB流式传输方法。结果显示，采用点云渲染方法的系统在演示完成时间上更短，用户反馈在操作流畅性和视觉反馈及时性方面更好，说明该遥操作界面设计能有效提高数据收集效率和质量。