技术概述 - Reality Proxy是一种直接操控界面 通过抽象数字表示实现现实物体的轻松选择 打破物理条件限制[5][7] - 该技术将交互目标从物体转移到其代理上 选择代理等同于选择实际物体 使用户摆脱距离或大小限制[7] - 系统通过捕获层级和语义场景结构激活代理 保留物体间的相对空间关系[8][10] 技术流程 - 激活代理阶段自动检测用户视线范围内的真实世界物体 并将其抽象为手部交互代理[9] - 生成代理阶段将场景表示转换为用户可操作对象 默认仅为1级物体生成固定大小的矩形3D代理[10] - 交互阶段采用"延迟跟随"机制将代理放在用户手部附近 减少低头查找需求[12] 交互功能 - 支持浏览预览物体 用户手指在多个代理上滑动即可快速查看物体信息如书籍内容[14] - 支持多对象刷选 用双手捏合手势划定区域即可选中多个代理对应的现实物体[16] - 支持按属性过滤物体 长按代理调出属性面板可筛选具有相同属性的物体如所有红色杯子[18] - 支持语义分组 双击代理即可将有相同属性的物体归为一组[22] - 支持自定义分组 通过刷选手势创建立方体容器存放代理 方便进行整体操作如计算书的总价[25] 应用场景 - 日常信息检索场景可用于办公室快速找书和计算总价 或在厨房与不同粒度级别的物体交互如选中微波炉部件[28][30] - 无人机控制场景允许控制动态真实世界物体 研究者开发了基于混合现实的无人机控制应用[33] 用户评价 - 在12名经验丰富的XR开发者和研究人员参与的评估中 系统在实用性、易学性和易用性方面获得普遍积极评价[34] - 参与者认为该技术能有效解决与遥远、密集或难触及物体的交互问题 相比传统方式更快捷且减少身体疲劳[36] - 评估指出新手可能需要学习时间 代理的定位精度还有待提高[36] 研究团队 - 主要研究者Xiaoan Liu本科毕业于江南大学 硕士毕业于纽约大学 曾创立Fusion Reality并在清华大学担任研究助理[39] - 团队成员Mar Gonzalez-Franco曾创建沉浸式技术实验室 研究航空背景下的AR、VR和混合现实 曾任微软EPIC团队首席研究员[50] - 团队成员Xianhao Carton Liu本科就读于浙江大学竺可桢学院 博士研究方向为人机交互 曾在斯坦福和哈佛任研究实习生[52] - 团队成员Chen Zhu-Tian现任明尼苏达大学双城分校计算机科学与工程系助理教授[54]

混合现实交互技术 - 提出Reality Proxy技术 通过数字替身实现现实物体操控 突破传统XR设备光线投射选择物体的局限性[9][11][12] - 技术流程分三步：激活代理捕获场景结构 生成代理保留空间关系 交互时保持现实世界关注[15][16][21] - 代理采用固定大小矩形3D对象 通过长按/双手缩放等手势操作 支持延迟跟随机制减少手部抖动干扰[18][19][23][25] 核心交互功能 - 浏览预览物体：滑动代理快速查看多物体信息如书籍内容[27] - 多对象刷选：双手捏合划定区域批量选择物体[28] - 属性过滤：长按代理调出面板筛选同类属性物体如红色杯子[29] - 语义/空间分组：双击代理归组同类 双手缩放导航层级结构[32][34] - 物理特征交互：利用桌面表面作触摸板 支持拖动/分指等手势操作[30] 应用场景验证 - 日常检索：办公室快速找书计算总价 厨房操作微波炉部件[38][40] - 建筑导航：大型建筑内高效定位与交互[42] - 无人机控制：混合现实应用操控动态物体 嵌入跟踪器替代AI组件[44][45] 技术评估 - 12名XR开发者测试显示 系统在实用性/易学性方面获积极评价 解决远距/密集物体交互问题[46][48][50] - 优势包括减少身体疲劳 支持批量选择 对行动不便用户友好[51] - 现存问题涉及学习曲线与代理定位精度需优化[52] 团队背景 - 核心成员Xiaoan Liu创立Fusion Reality 曾开发XR设备/游戏 研究RealiTips煮咖啡助手[54][55][57][59] - Mar Gonzalez-Franco创建沉浸式技术实验室 曾任微软EPIC首席研究员 参与470万美元A轮融资企业[61] - Xianhao Carton Liu获图灵班AI荣誉 斯坦福/哈佛研究经历 专攻人机交互[63] - Chen Zhu-Tian现任明尼苏达大学助理教授 计算机科学与工程方向[65]