技术概述 - Reality Proxy是一种直接操控界面 通过抽象数字表示实现现实物体的轻松选择 打破物理条件限制[5][7] - 该技术将交互目标从物体转移到其代理上 选择代理等同于选择实际物体 使用户摆脱距离或大小限制[7] - 系统通过捕获层级和语义场景结构激活代理 保留物体间的相对空间关系[8][10] 技术流程 - 激活代理阶段自动检测用户视线范围内的真实世界物体 并将其抽象为手部交互代理[9] - 生成代理阶段将场景表示转换为用户可操作对象 默认仅为1级物体生成固定大小的矩形3D代理[10] - 交互阶段采用"延迟跟随"机制将代理放在用户手部附近 减少低头查找需求[12] 交互功能 - 支持浏览预览物体 用户手指在多个代理上滑动即可快速查看物体信息如书籍内容[14] - 支持多对象刷选 用双手捏合手势划定区域即可选中多个代理对应的现实物体[16] - 支持按属性过滤物体 长按代理调出属性面板可筛选具有相同属性的物体如所有红色杯子[18] - 支持语义分组 双击代理即可将有相同属性的物体归为一组[22] - 支持自定义分组 通过刷选手势创建立方体容器存放代理 方便进行整体操作如计算书的总价[25] 应用场景 - 日常信息检索场景可用于办公室快速找书和计算总价 或在厨房与不同粒度级别的物体交互如选中微波炉部件[28][30] - 无人机控制场景允许控制动态真实世界物体 研究者开发了基于混合现实的无人机控制应用[33] 用户评价 - 在12名经验丰富的XR开发者和研究人员参与的评估中 系统在实用性、易学性和易用性方面获得普遍积极评价[34] - 参与者认为该技术能有效解决与遥远、密集或难触及物体的交互问题 相比传统方式更快捷且减少身体疲劳[36] - 评估指出新手可能需要学习时间 代理的定位精度还有待提高[36] 研究团队 - 主要研究者Xiaoan Liu本科毕业于江南大学 硕士毕业于纽约大学 曾创立Fusion Reality并在清华大学担任研究助理[39] - 团队成员Mar Gonzalez-Franco曾创建沉浸式技术实验室 研究航空背景下的AR、VR和混合现实 曾任微软EPIC团队首席研究员[50] - 团队成员Xianhao Carton Liu本科就读于浙江大学竺可桢学院 博士研究方向为人机交互 曾在斯坦福和哈佛任研究实习生[52] - 团队成员Chen Zhu-Tian现任明尼苏达大学双城分校计算机科学与工程系助理教授[54]