混合现实交互技术 - 提出Reality Proxy技术 通过数字替身实现现实物体操控 突破传统XR设备光线投射选择物体的局限性[9][11][12] - 技术流程分三步：激活代理捕获场景结构 生成代理保留空间关系 交互时保持现实世界关注[15][16][21] - 代理采用固定大小矩形3D对象 通过长按/双手缩放等手势操作 支持延迟跟随机制减少手部抖动干扰[18][19][23][25] 核心交互功能 - 浏览预览物体：滑动代理快速查看多物体信息如书籍内容[27] - 多对象刷选：双手捏合划定区域批量选择物体[28] - 属性过滤：长按代理调出面板筛选同类属性物体如红色杯子[29] - 语义/空间分组：双击代理归组同类 双手缩放导航层级结构[32][34] - 物理特征交互：利用桌面表面作触摸板 支持拖动/分指等手势操作[30] 应用场景验证 - 日常检索：办公室快速找书计算总价 厨房操作微波炉部件[38][40] - 建筑导航：大型建筑内高效定位与交互[42] - 无人机控制：混合现实应用操控动态物体 嵌入跟踪器替代AI组件[44][45] 技术评估 - 12名XR开发者测试显示 系统在实用性/易学性方面获积极评价 解决远距/密集物体交互问题[46][48][50] - 优势包括减少身体疲劳 支持批量选择 对行动不便用户友好[51] - 现存问题涉及学习曲线与代理定位精度需优化[52] 团队背景 - 核心成员Xiaoan Liu创立Fusion Reality 曾开发XR设备/游戏 研究RealiTips煮咖啡助手[54][55][57][59] - Mar Gonzalez-Franco创建沉浸式技术实验室 曾任微软EPIC首席研究员 参与470万美元A轮融资企业[61] - Xianhao Carton Liu获图灵班AI荣誉 斯坦福/哈佛研究经历 专攻人机交互[63] - Chen Zhu-Tian现任明尼苏达大学助理教授 计算机科学与工程方向[65]