Workflow
触觉感知
icon
搜索文档
从世界模型到VLA再到强化,具身大小脑算法原来是这样的!
具身智能之心· 2025-10-26 12:02
具身智能技术框架 - 行业将具身智能技术框架类比为人类的大脑和小脑,大脑负责思考感知(语义理解和任务规划),小脑负责执行(高精度的运动执行)[3] - 细分领域包含仿真、VLA、Diffusion Policy、VLN、世界模型、强化学习等多个子模块[5] - VLA和世界模型目前是自动驾驶和具身智能领域的两大技术路线[5] 核心技术演进路径 - 第一阶段技术研究聚焦于抓取位姿检测,通过点云或图像预测末端执行器姿态,但策略多为单步决策,缺乏对任务上下文和动作序列的建模[7] - 第二阶段进入行为克隆阶段,机器人借助专家演示数据学习端到端映射,但暴露出泛化能力弱、误差累积等问题[7] - 第三阶段以2023年兴起的Diffusion Policy为代表,通过扩散模型生成整个动作轨迹,提升策略稳定性与泛化能力;2024年进入VLA模型阶段,融合视觉、语言与动作生成,支持零样本或小样本快速泛化[8] - 第四阶段自2025年以来,行业探索VLA与强化学习、世界模型、触觉感知等模块的融合,以弥补现有模型在反馈、预测和多模态感知方面的局限[9] 当前技术热点与方向 - VLA目前主要研究热点为端到端和分层两种方案,并分别基于大模型和Diffusion技术拓展,VLA+RL方案正成为学者探索方向[5] - Diffusion Policy作为动作模块,负责学习具体动作和执行,主要方向包括状态扩散、动作空间扩散、三维空间扩散等[6] - 仿真技术关注sim2real和real2sim2real,以解决真机泛化差的问题,该方案已获多家具身公司认可[6] - VLN更关注目标导航,与移动操作相关联,map-free方案利于任务泛化[6] - VLA与强化学习结合提升机器人在长时任务中的试错与自我改进能力;与世界模型结合引入环境动态预测,使机器人具备“想象未来”的能力;与触觉信息结合拓展多模态融合的感知边界[10] 行业应用与市场前景 - 技术发展推动人形机器人、机械臂、四足机器人等产品落地,服务于工业、家居、餐饮、医疗康复等领域[10] - 相关产品和融资络绎不绝,岗位呈现爆发式增长,吸引大量人员转入具身智能领域[10] - 随着产业界重视,行业从“论文”走向“部署”,对工程与系统能力需求激增[14]
孚腾资本领投、理想汽车跟注!「千觉机器人」再获得亿元投资,站上530亿触觉感知风口
搜狐财经· 2025-10-18 12:32
融资情况 - 千觉机器人完成亿元级Pre-A轮融资,由孚腾资本领投,理想汽车、彬复资本等共同参与,高瓴创投等老股东跟投 [1] - 融资资金将用于技术研发、产品迭代、团队扩充与市场拓展,以完善全链路业务布局 [1] - 产业资本如孚腾资本和理想汽车的加入,体现了对该公司前景的认可,并有助于其触觉感知技术在真实产业场景的落地 [1] 业务与技术应用 - 公司已在具身灵巧操作、工业精密装配、触觉检测、柔性物流及家庭智能体等多个前沿场景实现技术验证与落地应用 [3] - 产品获得行业头部客户青睐,合作伙伴包括智元机器人、理想汽车、欧莱雅中国、海尔、谷歌DeepMind等 [3] - 其多模态触觉技术针对传统触觉传感器的局限提供了有效解决方案,有望推动行业向精准交互转型 [4][5] 行业背景与市场前景 - 2025年全球智能机器人感知技术市场规模预计将达531亿元人民币,年复合增长率超过20% [4] - 精细操作能力是机器人落地的核心门槛,触觉感知是其中亟待填补的关键环节 [4] - 传统触觉传感器存在空间分辨率不足、感知维度单一等局限,且触觉数据采集成本高、数据稀缺,制约了行业发展 [4] 公司定位与核心团队 - 公司成立于2024年5月17日,定位为以多模态触觉感知技术为核心的科技企业,使命是突破触觉感知边界,赋能机器人精细智能 [6] - 创始人马道林教授为上海交大副教授、MIT博士后,曾获2021年ICRA最佳会议论文奖、2017年亚马逊机器人挑战赛冠军等荣誉 [8] - 核心团队在机器人操作感知与智能实验室拥有8年技术储备,成员来自MIT、北大、清华等顶尖院校,具备学术突破与工程落地相结合的互补能力 [10][11] 产品与技术优势 - 公司产品矩阵涵盖全系列触觉传感器、触觉数采系统、触觉仿真器、触觉执行器及触觉控制系统,形成完整技术闭环 [12] - 其高精度触觉传感器G1-WS测量分辨率达每平方厘米5万个测量点,信息感受密度为人类手指的800倍,可提供三维力觉等多模态感知信息 [12] - 公司推出的触觉仿真工具Xense_Sim是全球首个可精确模拟切向运动与力信息的工具,填补了行业技术空白,能提升训练模型的泛化能力 [12] - 该触觉感知解决方案已落地应用于智元机器人,为其在复杂场景的应用构建数据基础 [13]
孚腾资本领投、理想汽车跟注!「千觉机器人」再获得亿元投资,站上530亿触觉感知风口
机器人大讲堂· 2025-10-17 21:41
又有一家机器人种子明星企业诞生了。 近日,具身触觉头部企业千觉机器人科技(上海)有限公司(下称 "千觉机器人")完成亿元级Pre-A轮融 资,本轮融资由 孚腾资本(上海具身智能基金)领投,产业方理想汽车,彬复资本 等头部市场化机构共同参 与, 高瓴创投、元禾原点、戈壁创投 等老股东持续跟投。融资资金将主要用于技术研发投入、加快产品迭 代、团队规模扩充与市场渠道拓展,完善全链路业务布局。 今年以来,国内机器人领域融资热度不减,资本持续向具备创新技术与落地能力的机器人企业倾斜。早期阶段 财务资本表现活跃,而随着企业成长,产业资本在后期融资中的参与度逐步提升,推动行业从技术验证迈向规 模化落地。 在千觉机器人本轮融资中, 产业资本、特别是来自工业制造领域的投资方成为一大亮点 。 有分析认为,孚 腾资本和理想汽车的加入既代表国资背景投资机构与产业资本对千觉机器人前景的认可,也有利于其触觉感知 技术在真实产业场景的落地与推广。此外,上一轮投资方中已出现智元机器人等产业方身影。多家机器人本体 企业连续押注,进一步验证了千觉在触觉感知环节的技术稀缺性与落地协同价值。 据机器人大讲堂了解 , 目前 千觉机器人已在具身灵巧操作 ...
一年斩获3轮融资:千觉机器人如何用“触觉感知”撬动亿元资本?
搜狐财经· 2025-10-17 13:48
当理想汽车和上海国资旗下的孚腾资本同时把支票填上同一家机器人公司时,资本市场的聚光灯再次聚焦在具身智能赛道。 红杉资本分析师在内部纪要中写道:"视觉和语音技术已趋成熟,触觉正是下一个必争之地。"不过赛道火热也意味着竞争白热 化,波士顿动力最新发布的机器人已经能凭触觉复原魔方,而亚马逊则在其物流机器人中测试类似技术。 谜底藏在机器人指尖的传感器里。千觉研发的多模态触觉感知技术,就像给机器人装上了人类般的触觉神经。无论是装配精密 零件还是分拣易碎品,机械手指都能通过微米级的压力反馈自动调整力度。 虽然前景诱人,风险却如影随形。一位参与尽调的投资人透露,触觉传感器的量产良率仍是行业难题,更棘手的是标准化困境 ——不同行业对触觉精度的要求相差百倍,医疗机器人需要感知组织弹性,而工业场景只需判断抓取力度。这就好比要求同一 个厨师既能切豆腐又能剁排骨。 这种突破让谷歌DeepMind实验室也抛来橄榄枝,双方正在共同探索如何让机器人真正"理解"物理世界。正如一位投资人调 侃:"当机器人能感知鸡蛋壳的脆弱和螺丝钉的坚硬时,工业自动化就进入了新次元。" 目前千觉的触角已延伸至五大应用场景:从汽车制造厂的精密装配线,到欧莱雅生产 ...
两月连融两轮!「模量科技」领跑触觉传感赛道!
机器人大讲堂· 2025-09-17 12:15
在人工智能与具身智能浪潮翻涌的今天,视觉与听觉感知已日趋成熟,而触觉正成为机器认知物理世界的最后 一块关键拼图 ——也是最难攻克的技术高地。 随着人形机器人迈进量产前夜、工业智造迈向微米级控制、智能穿戴与医疗康复走向精准感知,高精度、高柔 性、可规模化的触觉传感器已成为刚性需求。 据 VMR 最新报告, 2028 年全球触觉传感器市场规模将突破 260 亿美元。而在中国,仅人形机器人电子皮 肤赛道,到 2030 年市场规模便有望达到 90 亿元,年复合增长率高达 64.3% (长江证券数据)。无论是 工业检测、具身智能,还是智能汽车、智能穿戴领域,谁掌握触觉感知,谁就握住了下一代智能设备的"感知 之门"。 模量科技拒绝 "纸上科研"。公司以材料创新与算法融合为核心,构建出覆盖多场景、多形态的触觉传感产品 矩阵,真正做到——不仅灵敏,更可量产: 机器人大讲堂获悉,模量科技 近日成功完成 千万级 Pre - A 轮融资, 本轮融资由 青橙资本独家投资完成, 融资资金将主要用于模量科技扩充产线,提升交付能力;加深在机器人、智能汽车、新能源、消费电子、医疗 健康等场景的渗透;持续攻坚高精度、多模态传感的材料研发和算法 ...
商道创投网·会员动态|帕西尼·完成10亿元A轮融资
搜狐财经· 2025-08-06 00:05
公司融资情况 - 帕西尼完成10亿元A轮融资 由京东战略领投 浦耀信晔 宏兆基金 张科垚坤 新国都 北京昌平先进能源制造产业直投基金 财鑫资本 复琢投资联合跟投 [2] - 湖南财信产业基金 钧犀资本 TCL创投 毅达资本等老股东持续加码 [2] - 庚辛资本中国继续担任独家战略财务顾问 [2] 公司核心技术 - 专注"多维触觉+具身智能"核心闭环 自研6D霍尔阵列传感芯片 ITPU触觉处理单元及柔性触觉传感器 [3] - 构建全球唯一年产2亿条全模态数据的Super EID Factory 为机器人提供"类人指尖"的精准物理交互能力 [3] 融资资金用途 - 加大霍尔阵列芯片与触觉传感器的迭代研发投入 突破更高集成度与更低功耗 [4] - 扩建Super EID Factory 提升数据采集规模与质量 夯实具身智能数据底座 [4] - 携手京东 比亚迪等产业伙伴 加速在智能物流 汽车制造 医疗康养等场景的规模化落地 推动触觉感知成为机器人标配 [4] 投资方观点 - 京东看好帕西尼全球领先的触觉感知技术与稀缺的全模态数据闭环 其传感器已在仓储拣选场景验证显著降本增效 [4] - 团队兼具芯片 算法与产业落地经验 与京东生态高度协同 具备具身智能时代的平台级潜力 [4] 行业政策与市场趋势 - 工信部《人形机器人创新发展指导意见》落地 北京市同步发布机器人产业基金管理办法 政策端与市场端形成共振 [4] - 帕西尼以触觉传感技术响应国家"补短板"号召 契合产业方降本增效需求 [4]
触觉感知企业帕西尼,4个月狂揽10亿元!
证券时报网· 2025-08-05 18:03
融资情况 - 帕西尼感知科技在4个月内完成新一轮A系列融资 总金额达10亿元人民币 [1] - 京东战略领投本轮融资 浦耀信晔 宏兆基金 张科垚坤 新国都 北京昌平先进能源制造产业直投基金 财鑫资本 复琢投资跟投 [1] - 老股东湖南财信产业基金 钧犀资本 TCL创投 毅达资本持续加码 [1] 技术优势 - 公司核心产品为触觉传感器 并搭建触觉数据库 在触觉感知和具身智能领域处于行业领先地位 [1] - 采用6D霍尔阵列触觉传感技术 可采集15种触觉维度信息 大幅提升传感器灵敏度与精度 [4][5] - 依托英伟达GPU矩阵和AI加速解决方案 实现毫秒级数据捕捉 解析与反馈 [3] 战略合作 - 作为唯一入选英伟达初创加速计划的机器人数据和传感器合作伙伴 获得全栈式软硬件生态体系支持 [2] - 与比亚迪达成战略合作 获其超亿元投资 创比亚迪在具身智能领域最大单笔投资纪录 [5] - 已获得比亚迪 北汽 上汽 新奥集团 TCL 商汤 新国都等头部产业资本青睐 [3] 商业模式 - 构建高精度物理感知-海量全模态数据-泛化智能决策-多场景落地的具身智能核心生态闭环 [2] - 通过帕西尼具身智能超级数据工厂Super EID Factory占据战略制高点 [2] - 触觉传感器 灵巧手 机器人和算法方案已服务众多国内外头部厂商客户 [1] 应用场景 - 计划在智能物流分拣 仓储柔性搬运 商业零售服务 汽车制造产线 精密仪器装配 医疗康养等场景发力 [5] - 技术可推动人形机器人实现感知-决策-执行循环 促进具身智能实际应用和产业化转型 [4] - 为人形机器人提供大脑 形成训练提升良性循环 实现智能化水平快速升级 [3]
TACTILE-VLA:激活VLA模型的物理知识以实现触觉泛化(清华大学最新)
自动驾驶之心· 2025-07-16 12:05
核心观点 - 视觉-语言-动作模型(VLA)在接触密集型任务中存在触觉感知缺失的短板,难以实现精细力控制 [2] - Tactile-VLA通过深度融合视觉、语言、动作与触觉感知,激活VLA模型中隐含的物理知识,解决接触密集型任务的力控制与泛化问题 [2][6] - 研究发现视觉-语言模型(VLM)的先验知识中已包含对物理交互的语义理解,通过少量演示即可激活该知识实现零样本泛化 [6] 核心创新与研究目标 关键发现 - VLM的先验知识包含物理交互语义理解,通过触觉传感器连接可激活该知识实现零样本泛化 [6] 主要创新点 - Tactile-VLA框架:首次将触觉感知作为原生模态引入VLA模型,构建多模态深度融合架构 [6] - 混合位置-力控制器:将力目标转化为位置调整指令,解决位置与力控制的协同难题 [6][11] - Tactile-VLA-CoT变体:引入思维链推理机制,基于触觉反馈自主调整策略提升稳健性 [6][15] 主要解决的问题 - 触觉感知的指令遵循:理解"轻柔地""用力地"等力相关语言修饰词 [6] - 触觉相关常识运用:基于物体属性自主调整交互力 [6] - 触觉参与的自适应推理:通过触觉反馈诊断失败并制定纠正策略 [6] Tactile-VLA框架 整体架构 - 多模态深度融合架构包含视觉、语言、触觉和本体感觉输入的统一token表示 [9][11] - 通过非因果注意力机制实现视觉、语言和触觉token的自由交互 [9] 混合位置-力控制机制 - 控制逻辑:以位置控制为主,力误差超过阈值时引入力反馈调整 [11][12] - 双通道分离:外部净力与内部抓取力分离实现精细化调节 [13] 思维链推理机制 - 触发机制:固定间隔评估任务进展,检测失败时启动推理 [18] - 推理流程:判定任务成功与否、分析失败原因、生成纠正指令 [18] 数据收集方法 - 硬件平台:基于通用操作接口(UMI)配备双高分辨率触觉传感器 [19] - 同步机制:100Hz触觉信号与20Hz视觉数据时间对齐 [19] - 标注方式:人类操作员结合触觉反馈提供演示并记录语言指令 [19] 实验验证与结果分析 触觉感知的指令遵循实验 - 任务A(USB插拔):Tactile-VLA成功率达35%,充电器任务中达90% [22][23] - 力控制精度:USB任务中"轻柔地"施加0.51N力,"用力地"施加2.57N力 [23] 触觉相关常识的运用实验 - 域内物体抓取成功率:90%-100%,域外物体达80%-100% [30] - 力调节策略:根据物体属性自主调整力度,如对易碎物体用轻力 [30] 触觉参与的自适应推理实验 - 黑板擦拭任务:Tactile-VLA-CoT成功率达80%,基线模型为0 [28][32] - 推理过程:首次尝试失败后自主增加剪切力并成功完成任务 [32]
TACTILE-VLA:激活VLA模型的物理知识以实现触觉泛化(清华大学最新)
具身智能之心· 2025-07-15 15:55
核心观点 - 视觉-语言-动作模型(VLA)在接触密集型场景中存在触觉感知缺失的短板,难以实现精准力控制与物理交互 [2] - Tactile-VLA框架通过深度融合视觉、语言、动作与触觉感知,激活VLA模型中隐含的物理知识,解决接触密集型任务中的力控制难题 [2] - 研究发现视觉-语言模型(VLM)的先验知识中已包含物理交互的语义理解,通过触觉传感器连接可激活该知识实现零样本泛化 [6] 核心创新与研究目标 关键发现 - VLM的先验知识包含物理交互语义理解,触觉传感器连接可激活该知识实现零样本泛化 [6] 主要创新点 - Tactile-VLA框架首次将触觉作为原生模态引入VLA模型,构建多模态深度融合架构 [7] - 混合位置-力控制器创新性地将力目标转化为位置调整指令,解决位置与力控制协同难题 [7] - Tactile-VLA-CoT变体引入思维链推理机制,基于触觉反馈分析失败原因并自主调整策略 [7] 主要解决问题 - 实现触觉感知的指令遵循、触觉相关常识运用和触觉参与的自适应推理三大能力 [9] 框架设计 整体架构 - 包含多模态编码器、Transformer backbone网络、触觉感知动作专家和混合位置-力控制器四大模块 [13] - 采用token级融合机制,通过非因果注意力实现视觉、语言和触觉token的自由交互 [14] 混合位置-力控制机制 - 以位置控制为主,力误差超阈值时引入力反馈调整,公式ΔF为目标力与实测力差值 [14] - 双通道分离设计:外部净力通过机械臂笛卡尔位置控制,内部抓取力通过夹爪宽度控制 [14] 思维链推理机制 - 按固定间隔评估任务进展,检测失败时启动"判定-分析-生成"三阶段推理流程 [14] - 使用含失败案例和语言注释的小型数据集微调模型,保留通用推理能力 [14] 实验验证 触觉感知的指令遵循 - USB任务中Tactile-VLA成功率35%,充电器任务达90%,显著高于基线模型(最高40%)[21] - 力控制精度:USB任务中"轻柔地"0.51N vs "用力地"2.57N,充电器任务保持区分度(4.68N vs 9.13N)[21] 触觉相关常识运用 - 域内物体抓取成功率90%-100%,域外物体80%-100%,显著高于基线(易碎物体基线接近0)[27] - 能根据物体属性自主调整力度:坚硬沉重物体用大力,易碎物体用轻力 [27] 触觉参与的自适应推理 - Tactile-VLA-CoT黑板任务成功率80%,基线模型和Tactile-VLA(无推理)分别为0和15% [33] - 首次尝试3.5N力失败后,通过推理将力增加到6.7N并成功完成任务 [33]
InformationFusion期刊发表:Touch100k用语言解锁触觉感知新维度
机器人大讲堂· 2025-06-08 16:47
触觉多模态研究突破 - 北京交通大学联合腾讯微信AI团队发布全球首个触觉-语言-视觉三模态数据集Touch100k,包含10万组触觉图像、视觉图像及多粒度语言描述,突破传统触觉研究仅聚焦视觉模态的局限[1][2] - 创新提出TLV-Link预训练方法,采用"教师-学生"课程范式实现视觉编码器向触觉编码器的知识迁移,模态对齐阶段通过对比学习融合文本特征,显著提升零样本触觉理解能力[6][7] - 实验显示TLV-Link在材料属性识别任务中准确率达93.1%(硬/软分类)和84.7%(粗糙/光滑分类),机器人抓取预测任务准确率94.5%,较基准模型最高提升4.2个百分点[9] 技术实现路径 - 数据集构建整合Touch and Go、VisGel等公开数据集接触帧,通过人机协作生成词组/句子级触觉描述,形成标准化三模态数据架构[2][5] - TLV-Link课程表示阶段动态调整视觉-触觉特征权重(初始依赖教师模型70%权重,随训练逐步降低至30%),模态对齐阶段采用文本编码器生成融合特征[6][9] - t-SNE可视化证实触觉表征在二元分类任务中区分度显著,但多分类任务泛化能力待提升,显示当前方法在复杂操作场景的局限性[9][10] 行业应用价值 - 研究填补触觉领域语言模态空白,使机器人具备"表述"触觉信息的能力,为人机交互、医疗机器人触觉反馈提供新技术路径[1][11] - GelSight传感器专用表征学习方法可适配工业机器人精确抓取、医疗手术力反馈等场景,实验显示抓取预测准确率较现有最优模型提升3.9%[9][11] - 成果发表于SCI一区期刊《Information Fusion》(影响因子14.8),数据集与代码已开源,推动行业建立触觉多模态研究基准[1][12]