编译/VR陀螺

随着XR系统对物理世界的映射和理解能力不断提升，与这些混合呈现的场景进行交互仍面临挑战。当前对“自然”输入方式的追求存在一定的权衡：触控受限于人体活动范围和疲劳度，而视线追踪往往缺乏精细交互所需的精度。

为弥合这一差距，谷歌研发团队推出了“World Mouse”，这是一种跨现实光标，它将人们熟悉的2D桌面鼠标重新诠释，使其适用于复杂的3D场景。该系统由两大核心机制驱动：其一是“物体内部交互”，利用物体表面法线实现光标的精准定位；其二是“物体间导航”，通过插值技术实现对空旷空间的穿越。

与以往仅限虚拟环境的方案不同，“World Mouse”利用语义分割和网格重建技术，将物理对象视为交互表面。通过一系列原型演示（包括物体操作和屏幕到现实世界的过渡）谷歌展示了跨现实光标如何实现真实与虚拟环境之间的无缝交互。

World Mouse可进行3D选择与操作、物体表面导航以及拖拽

研究团队通过将桌面鼠标适配至混合跨现实环境（即同时包含真实与虚拟可交互元素的环境，见图1），推动了基于光标的XR交互技术发展。“World Mouse”利用混合场景图将2D鼠标移动映射为跨越空间分布的物体、环境和界面的3D交互。

该方法基于两个核心机制：首先，对象内部交互遵循光栅化逻辑，以精确追踪鼠标在单个对象3D表面上的2D移动。其次，物体间导航通过利用一种在相邻物体之间进行插值的“隐形网格”，实现了在不相连元素间的流畅移动。这些技术相结合，使用户能够轻松导航不同尺度和深度的物体，既保留了桌面光标的简便性，又将其应用于物理世界。

来源：arxiv