PICO团队正式推出XRoboToolkit，这是一套基于OpenXR标准的跨平台XR机器人远程操作框架，面向全球开发者与研究机构开放。

XRoboToolkit针对现有机器人遥操作方案存在的配置复杂、延迟高、可扩展性不足等问题，提供了统一的跨平台解决思路：

• XR端：遵循OpenXR规范，支持包括PICO 4 Ultra在内的多款头显设备，集成立体视觉低延迟回传、多模态追踪（头部、手柄、手势、全身、外部追踪器）等能力。
• 机器人端：提供Python / C++模块化接口，支持真实机器人与MuJoCo等仿真平台的无缝集成，覆盖机械臂、移动平台与灵巧手等多种形态。

核心亮点

• 沉浸式低延迟体验：定制视频流与通信协议，PICO 4 Ultra在端到端立体视频回传中表现优异，延迟低于100 ms，相比部分现有方案大幅降低眩晕感，提升机器人遥操用户体验。
• 精确操控能力：优化型QP逆运动学求解器，确保机械臂在复杂工况下的平稳控制；灵巧手重定向算法可将XR手势数据映射到机器人手，实现细致抓取与操作。
• 丰富控制模式：支持双手柄操控、手势识别、全身追踪及肘部追踪器辅助冗余臂控制，覆盖从精密装配到移动操作臂等多种任务场景。
• 数据采集与AI训练：可直接用于采集高质量机器人示范数据，已验证可助力Vision-Language-Action模型微调并在实际任务中取得100%成功率。

在实际测试中，XRoboToolkit已成功应用于：

• 高精度遥操任务：如双臂地毯折叠、双臂毫米级容差的装配操作；
• 移动平台操控：基于摇杆的全向底盘控制；
• 仿真灵巧手操作：利用头显手势数据直接驱动虚拟手做精细示范动作。

XRoboToolkit项目已全面开放，将持续推动该框架的跨平台兼容性和标准化工作，包括：

• 扩展对更多仿真平台和机器人硬件的支持；
• 增加机器端自定义数据回传支持；
• 持续增强和扩展对灵巧手和其他外设的支持；
• 推进 OpenXR 在全身追踪等能力上的统一标准。

来源：PICO