核心观点 - Reality Proxy是一种新型混合现实交互技术，通过数字替身实现现实物体的抽象操控，突破传统XR设备在物体选择上的物理限制[10][13][14] - 该技术采用三级流程（激活/生成/交互代理）实现自然交互，支持7种创新功能如多对象刷选、语义分组等，显著提升操作效率[17][19][30][31][32][33][36][38] - 在办公、建筑导航、无人机控制等场景验证中，系统展现出解决远距离/密集物体交互痛点的能力，用户评估显示其易用性和实用性突出[41][45][47][51][53][54] 技术原理 - 通过头戴设备捕获场景层级结构，将真实物体抽象为固定大小的3D矩形代理，保留空间关系[14][17][19][20][22] - 采用"延迟跟随"机制将代理锚定在手部附近，减少视觉搜索负担，通过双重高亮反馈保持现实世界关注[24][25][26][28][29] - 代理选择精度不受物体实际尺寸影响，支持标准手势操作（捏合/缩放/滑动等）实现精准控制[21][22][31][34] 交互功能 - 浏览预览：滑动代理快速查看多物体信息（如书籍内容）[30] - 批量操作：双手划定区域选中多个代理对应物体[31] - 属性筛选：长按代理调出属性面板实现分类选择（如红色杯子）[32] - 物理交互：利用桌面等表面转换为自然触摸板实现拖动/缩放选择[33][34] - 智能分组：双击代理语义归类或自定义立方体容器进行整体操作[36][38] 应用场景 - 办公场景：快速检索书籍并计算总价[41] - 建筑导航：在大型空间中实现层级结构浏览（整栋楼→单层房间）[38][45] - 无人机控制：通过嵌入跟踪器实现多无人机动态操控[47][48] - 厨房交互：支持不同粒度物体操作（如微波炉部件）[43] 团队背景 - Xiaoan Liu：Fusion Reality创始人，清华大学研究助理，谷歌前员工，专注XR设备与交互技术研究[57][58][62] - Mar Gonzalez-Franco：微软EPIC团队前首席研究员，创立沉浸式技术实验室，Traity公司A轮融资470万美元[64] - Xianhao Carton Liu：明尼苏达大学计算机博士，斯坦福/哈佛研究实习生，图灵班人工智能荣誉学士[66] - Chen Zhu-Tian：明尼苏达大学助理教授，香港科技大学博士，研究方向为人机交互[68]

混合现实交互技术 - 提出Reality Proxy技术 通过数字替身实现现实物体操控 突破传统XR设备光线投射选择物体的局限性[9][11][12] - 技术流程分三步：激活代理捕获场景结构 生成代理保留空间关系 交互时保持现实世界关注[15][16][21] - 代理采用固定大小矩形3D对象 通过长按/双手缩放等手势操作 支持延迟跟随机制减少手部抖动干扰[18][19][23][25] 核心交互功能 - 浏览预览物体：滑动代理快速查看多物体信息如书籍内容[27] - 多对象刷选：双手捏合划定区域批量选择物体[28] - 属性过滤：长按代理调出面板筛选同类属性物体如红色杯子[29] - 语义/空间分组：双击代理归组同类 双手缩放导航层级结构[32][34] - 物理特征交互：利用桌面表面作触摸板 支持拖动/分指等手势操作[30] 应用场景验证 - 日常检索：办公室快速找书计算总价 厨房操作微波炉部件[38][40] - 建筑导航：大型建筑内高效定位与交互[42] - 无人机控制：混合现实应用操控动态物体 嵌入跟踪器替代AI组件[44][45] 技术评估 - 12名XR开发者测试显示 系统在实用性/易学性方面获积极评价 解决远距/密集物体交互问题[46][48][50] - 优势包括减少身体疲劳 支持批量选择 对行动不便用户友好[51] - 现存问题涉及学习曲线与代理定位精度需优化[52] 团队背景 - 核心成员Xiaoan Liu创立Fusion Reality 曾开发XR设备/游戏 研究RealiTips煮咖啡助手[54][55][57][59] - Mar Gonzalez-Franco创建沉浸式技术实验室 曾任微软EPIC首席研究员 参与470万美元A轮融资企业[61] - Xianhao Carton Liu获图灵班AI荣誉 斯坦福/哈佛研究经历 专攻人机交互[63] - Chen Zhu-Tian现任明尼苏达大学助理教授 计算机科学与工程方向[65]