Workflow
紫东太初
icon
搜索文档
紫东太初开源视觉神经增强方法,即插即用终结多模态幻觉 | ACL 2025
量子位· 2025-06-27 18:57
核心观点 - 中科院自动化所联合新加坡国立大学、东南大学等团队提出大模型幻觉的高效解决方案VHR,通过"视觉神经增强"机制直接放大模型中的视觉关键注意力头输出,显著降低模型的幻觉现象 [1][2] - 此前主流方法如对齐训练或输出层分布修正仅作用于模型最终输出阶段,未能深入干预其内部表征和生成机制,难以实现高效精准的幻觉抑制 [3] - 大型视觉语言模型(LVLMs)常因过度依赖语言先验知识而非图像真实内容导致事实性错误,这种幻觉是受内部语言建模偏好的系统性影响 [4][5] - 研究发现注意力机制内部的不平衡性是幻觉根本原因,少数注意力头对视觉信息敏感,大多数头更依赖语言规律 [7][8] - 提出视觉感知头散度(VHD)指标量化注意力头对视觉输入的响应强度,并开发视觉感知头增强(VHR)技术强化视觉敏感注意力头输出 [8][9] - VHR在多个基准测试中优于现有方法,几乎不增加额外时间开销 [8][16] 技术方法 VHD指标 - 提出VHD指标量化每个注意力头对视觉信息的敏感度,通过对比有无图像输入时注意力头输出的差异计算 [9] - 仅有少数注意力头表现出高VHD值,表明模型内部存在视觉感知与语言偏好头的显著分化 [9] - 进一步提出Token-VHD(T-VHD)指标评估生成每个词时模型对视觉信息的依赖程度,统计表明幻觉词通常对应较低的T-VHD值 [10][11] VHR技术 - VHR通过三个步骤动态强化视觉敏感的注意力头:异常VHD过滤、注意力头选择与强化、分层渐进式增强 [14][15] - 每层选择VHD得分前50%的注意力头,将其输出缩放α倍以增强视觉上下文的贡献 [15] - 采用逐层强化策略避免层间干扰,并在首步生成时确定每层的关键注意力头 [16] SSL方法 - SSL方法从语义引导角度出发,通过分析模型内部表征空间缓解LVLMs幻觉问题 [19] - 利用稀疏自编码器(SAE)识别"幻觉"和"真实"两种语义方向,在特定层进行针对性干预 [19] - 在视觉信息融合阶段注入真实语义方向增强视觉表示忠实性,在语言生成阶段抑制幻觉语义方向投影 [19] - SAE识别的语义方向在不同架构LVLMs中展现出良好跨模型迁移能力 [22] 实验结果 - 在MSCOCO数据集CHAIR评估中,VHR在InstructBLIP、LLaVA-1.5和LLaVA-NeXT模型上分别达到85.52、85.47和88.87分,优于其他基线方法 [17] - SSL方法在POPE数据集上取得显著F1分数提升,同时保持推理效率 [20] - VHR和SSL方法均保持高效性,几乎不增加额外时间开销 [16][20]
在互动体验中感受智能科技的魅力
科技日报· 2025-05-26 08:59
智能科技展示活动 - 2025年北京科技周暨中国科学院自动化研究所"自动化之光"公众科学日活动通过科学展示、互动展演、科学体验、科普讲座四大板块呈现智慧医疗、仿生机器人、脑机接口等十余项科研成果 [1] - 活动设置仿金枪鱼机器人、"智能读心"机器人、"紫东太初"大模型等互动体验项目,展示智能科技在图像识别、情感感知、多模态理解等方面的突破 [1][3] - 活动采用虚实结合的多元展示形式,系统化展现智能科技最新发展动态及应用前景,旨在激发青少年科学探索热情 [3] 医疗机器人技术 - 颈动脉超声扫查机器人由"机器人+人工智能+掌上超声"三部分组成,可完成脑卒中等心脑血管疾病早期筛查 [1][2] - 该机器人配备智能导航功能,新手可完成高质量颈动脉扫查,人工智能可自动分析超声图像并生成诊断报告 [2] - 掌上超声设备仅手机大小,轻巧便携可装进急救箱,适合基层医院和社区诊所使用 [2] 仿生机器人技术 - 多关节人手数据采集手套可实时采集人手精细动作,通过数据映射使机器人复现相应动作 [2] - 该技术可帮助和代替人类完成科研、服务、特种、工业等领域的操作任务 [2] - 灵巧手与通用灵巧操作机器人展区吸引大量中小学生排队体验 [2] 多模态AI技术 - "紫东太初"大模型能准确识别图片、视频、音频并生成完整故事叙述 [1] - 数字人"小初"具备图片理解、视频解析、语音识别能力,可进行中文续写、双语翻译和诗词创作 [3] - 该技术通过图片、文字、语音三种模态的关联与协同,有效提升机器理解和生成能力 [3]
公众科学日“续集”:机器人集中展示 人工智能赋能空天科技
环球网资讯· 2025-05-24 21:57
自动化所机器人展示 - Q系列人形机器人Q5亮相并与嘉宾共同启动2025年北京科技周暨公众科学日 [1][3] - 科学展示区呈现18项科研成果包括Q系列人形机器人、灵巧手及通用灵巧机器人、仿生水下机器人、机器人空间智能等 [3] - 智能医疗技术展示包括微创植入式脑机接口、脑网络组图谱导航的神经调控机器人、光学分子影像手术导航系统 [3] - 互动体验区提供场景体感互动、智能读心、庙算·兵棋智能博弈平台、颈动脉超声扫查智能机器人及意念康复等项目 [3] - 紫东太初数字人展示多模态交互能力 科普讲座聚焦机器人前沿技术与AI艺术 [3][4] 空天院空天科技与人工智能 - 活动主题为"逐梦空天 智启新程" 展示空-天-地-文全链条布局成果 [5] - 科技展厅展出可持续发展大数据平台、"极目一号"Ⅲ型浮空艇、新舟60遥感大飞机样机、地面无人智巡平台等 [5] - 童庆禧院士作《漫谈遥感》科普报告 研究生团队解读空天科技前沿应用 [7] - 互动体验区展示空天灵眸-遥感解译大模型、智绘月图-行星遥感成果、灵犀动影-人体姿态估计毫米波雷达等 [7] - 科学DIY项目包括智能气象雷达探测、浮空气球智能控制、太阳能月球车和雷达模型 [7] 声学所声学科普活动 - 活动主题为"科学之'声'启迪未来" 设置所史馆参观、科技成果展示、科普讲座等环节 [8][9] - 展示中国自主研制的深海低噪声毛发阻尼阵、指向性扬声器、超声导盲仪等设备 [11] - 公众可体验半消声实验室、混响室特性及参与"纸炮大挑战"互动 [11] - 科普讲座聚焦社会热点声学现象 科幻影片放映《深海危机》 [11] - "一所四地"协同联动 南海、东海、北海研究站同步举办活动 [11]
北京科技周开幕,人工智能成果亮相中国科学院自动化所
新京报· 2025-05-24 19:05
北京科技周活动概览 - 2025年北京科技周暨中国科学院自动化研究所"自动化之光"公众科学日展示Q系列人形机器人、Casia Hand灵巧手、水下仿生机器鱼等创新成果 [1] - 活动将展示北京在人工智能、细胞基因治疗、脑机接口、氢能等领域的自主创新成果 [1] - "自动化之光"公众科学日已成功举办21届,激发青少年科学探索热情 [2] 科技活动周创新模式 - 2025年全国科技活动周首创院市联动模式,与中国科学院深度合作推动高端科技资源科普化 [2] - 中国科学院与北京市紧密协作开创科技传播新模式,将科技周启动仪式与自动化研究所公众科学日结合 [2] - 北京市科委、中关村管委会为5家人工智能领域北京市重点实验室授牌 [2] 人工智能技术展示 - 展览展示区通过多种形式呈现人工智能技术在智慧医疗、机器人等方向的18项科研成果 [3] - Q系列人形机器人单臂负载达5公斤,操作精度达毫米级,采用"通用人形机器人大工厂"核心技术底座 [4] - Casia Hand灵巧手具有22个自由度,可应用于特种环境、服务行业和工业领域 [3] 脑机接口技术进展 - 微创植入式脑机接口项目正在进行动物实验,只需在颅骨上开0.3毫米孔植入电极线 [4] - 该技术具有创伤小、感染风险低等优势,未来有望辅助瘫痪患者与外界交互或帮助盲人视觉重建 [4] 智能医疗应用 - 颈动脉超声扫查智能机器人系统包含机器人、人工智能、掌上超声三部分,实现标准化筛查 [5] - 掌上超声设备轻巧便携,可装进急救箱实现入户检查,配合云端智能分析系统 [5] 互动体验项目 - 现场展示场景体感互动、智能读心、兵棋智能博弈平台等项目 [5] - 观众可体验意念康复、人工智能艺术等前沿技术成果,与紫东太初数字人虚实互动 [5]
智能读心系统、人形机器人Q5,北京科技周启动活动亮点来了
新京报· 2025-05-20 21:13
活动概述 - 2025年北京科技周启动活动暨第二十一届"自动化之光"公众科学日将于5月24日在中国科学院自动化研究所举行 [1] - 活动包含科技周启动仪式、科学家精神和科普主题报告以及前沿科技展示三大板块 [1] - 活动首次与中国科学院共同举办北京科技周启动活动 [1] 前沿科技展示 - 前沿科技展示板块将对所有预约报名的观众开放 [1] - 展示内容包括人形机器人、大模型、脑机接口等十余项人工智能领域前沿科技成果 [1] - 公众可近距离接触自动化所自主研发的人形机器人Q5、Casia Hand系列灵巧手 [1] - 公众可通过"意念康复系统"感受脑电波控制机器的体验 [1] 人工智能+医疗健康展区 - 展示脑科学与类脑智能技术的突破以及人工智能技术助力医学诊疗的科研进展 [2] - 展品包括微创植入式脑机接口、神经调控机器人、脑网络组图谱、分子影像手术导航系统、颈动脉超声机器人等 [2] 机器人展区 - 展区展示水下仿生机器人和水下仿生机器鱼 [2] - 紫东太初多模态大模型演示AI艺术创作与诗歌生成 [2] - 智能读心系统解析微表情情绪 [2] - 数字人一体机、庙算-兵棋智能博弈平台等项目也将展出 [2]
多模态大模型国家队中科紫东太初完成首轮融资,中科创星领投
搜狐财经· 2025-05-15 19:58
融资情况 - 公司完成首轮数亿元融资 由中科创星领投 粤民投 武汉同为 中财金控 长兴基金等跟投 [1] - 融资资金将用于多模态人工智能技术研发与应用 加强"人工智能+"产业布局 加速科技成果转化 [1] - 中科融合创新加速器担任财务顾问 [1] 战略定位 - 公司作为多模态大模型国家队 承载国家重大战略使命 [3] - 基于全栈国产化基础软硬件体系 打造自主可控通用人工智能大模型 [3] - 紫东太初被定位为国之重器 是赢得全球科技竞争主动权的关键力量 [3] 技术实力 - 依托中国科学院自动化研究所数十年技术积淀 研发紫东太初多模态大模型 [5] - 大模型被列为中科院十四五规划重点项目 首批通过中央网信办备案 [5] - 荣获2022世界人工智能大会最高奖-SAIL奖 [5] - 大模型已从1 0迭代至3 0版本 1 0系全球首个千亿参数多模态大模型 3 0能力对标GPT4o [5] 商业化进展 - 2024年7月正式完成成果转化开启商业化运作 [5] - 自动化研究所所长徐波任首席科学家 汇聚行业领军人才 [5] - 已实现多个优势产业的赋能纵深拓展 [5] 行业影响 - 人工智能成为国际战略博弈新焦点与经济高质量发展新引擎 [7] - 公司积极响应国家战略号召 践行"人工智能+"行动 [7] - 通过技术创新与产业赋能推动社会经济转型升级 [7] 荣誉认可 - 2025年5月入选福布斯中国人工智能科技企业TOP 50 [9] - 董事长王金桥获评2025福布斯人工智能影响力人物 [9] - 融资完成是对公司技术积淀与产业实践的双重认可 [9]
天文预测新SOTA!紫东太初&国家天文台联手攻克恒星耀发难题
量子位· 2025-05-13 12:45
FLARE团队 投稿 量子位 | 公众号 QbitAI 还记得刘慈欣在《全频带阻塞干扰》中描绘的耀斑爆发吗? 现在科幻照进现实,人类踏出了理解耀斑的重要一步——预测。 来自 紫东太初 和 中国科学院国家天文台 的研究团队,联合开发了天文耀发预测大模型 FLARE (Forecasting Light-curve-based Astronomical Records via features Ensemble) 。 该模型能精准预测恒星耀发事件,为天文学研究提供了全新的有力工具,也展示了AI for Science在天文学领域的巨大潜力。 相关研究论文已成功被人工智能领域国际顶级会议IJCAI 2025录用。 以下是更多详细内容介绍。 恒星耀发从何而来 恒星耀发是恒星大气中磁场能量的快速释放过程,对于理解恒星结构、演化、磁活动以及探索系外宜居行星和外星生命意义重大。 然而,目前通过观测获得的耀发样本数量有限,难以满足全面深入的研究需求。 因此,准确预测恒星耀发时间成为天文学研究的重要任务,但此前这一领域一直缺乏相关研究成果。 与相对容易预测的太阳耀斑不同,恒星耀发预测主要依赖 光变曲线 。 △ 恒星的光变曲线 ...
武汉9家企业上榜福布斯中国AI TOP50
长江商报· 2025-05-13 07:31
行业概况 - 全球人工智能产业进入技术爆发与场景落地双重加速期 未来五年市场规模年复合增长率超30% [1] - 中国人工智能企业数量超过4500家 覆盖基础算力到行业应用的完整链条 在智能制造 智慧医疗 自动驾驶等20余个领域实现规模化渗透 [1] - 2023年光谷人工智能核心产业规模达350亿元 预计2024年达450亿元 近三年平均增长率超30% 占武汉市人工智能核心产业规模的70% [3] 榜单评选 - "2025福布斯中国人工智能科技企业TOP50"评选聚焦中国人工智能产业核心赛道 全国523家企业参与角逐 [1] - 最终评选结果包括主榜单50家 新锐企业10家 创新技术企业10家 创新场景应用企业10家 [1] - 武汉以总数9家上榜企业(含主榜单5家)排名全国第四 仅次于上海 北京 深圳 [1][2] 武汉企业表现 - 武汉紫东太初 达梦数据 兰丁股份 声通科技 数传集团上榜TOP50主榜单 [2] - 黑芝麻科技 中科通达 智化科技 格创东智分别进入创新场景 创新技术 新锐企业等子榜单 [2] - 武汉9家入围企业中近九成来自光谷 形成区域创新集群效应 [3] 重点企业技术 - 武汉紫东太初推出全球首个中文千亿参数多模态大模型"紫东太初" 在智慧城市 医疗等领域服务超千家客户 [3] - 达梦数据以完全自主知识产权技术连续五年领跑国产数据库市场 [3] - 兰丁股份AI肿瘤筛查云平台覆盖全球最大商用诊断数据库 与阿里 华为共建技术生态 [3] - 武汉人工智能研究院推出全球首个千亿参数多模态"紫东太初" 传神"任度"大模型实现数推分离技术路线 [4] 产业生态建设 - 光谷已集聚500多家人工智能企业 覆盖上游基础层 中游技术层 下游应用层全产业链 [3] - 区内企业吸纳从业人员超40万人 建成北京大学武汉人工智能研究院 武汉人工智能研究院等新型研发机构 [3] - 光谷成立人工智能+办公室 由院士 企业家参与遴选干部 统筹产业发展 承担企业服务 产业链补强等职能 [4]
布局具身智能机器人 顺德“加仓”了
广州日报· 2025-05-12 05:11
佛山市具身智能机器人产业发展规划 - 佛山市具身智能机器人创新中心及紫东太初(佛山)具身智能创新中心正式落户顺德区,将推动产业创新与集聚发展 [1] - 佛山发布《加快智能机器人产业发展行动方案(2025—2030年)》,目标到2030年智能机器人整机产值突破1000亿元,相关营收达5000亿元 [1][5] - 到2027年阶段性目标为智能机器人整机产值200亿元,相关产业营收2000亿元 [5] 创新中心合作与建设 - 创新中心由中科紫东太初、佛山市工信局、顺德区政府共建,依托国产化多模态大模型技术赋能区域产业 [2] - 中科紫东太初计划投资2亿元在顺德建设华南首个多模态大模型全品类机器人训练场,并组建50人专业团队 [3] - 创新中心将建设智能机器人训练场项目,覆盖100+场景任务模板和50+智能能力模块,服务家电、陶瓷等传统产业升级 [3] 产业生态协同 - 顺德发起"佛山市人工智能与机器人产业联盟",整合政府、企业、科研机构资源,形成生态协同发展模式 [4] - 成立由21家机构组成的产业协同平台,构建"技术研发—场景应用—生态协同"全链条服务体系 [4] - 市政府成立人工智能与智能机器人产业发展工作领导小组,强化统筹协调 [6] 战略定位与目标 - 佛山提出打造"智能机器人之都",目标成为大湾区"智能机器人育成创新应用中心" [5] - 创新中心定位为突破产业瓶颈、引领发展方向,打造佛山特色产业典范 [2]
华南具身智能训练升级:首个多模态大模型全品类机器人训练场“落子”顺德
21世纪经济报道· 2025-05-07 16:46
具身智能创新中心落户佛山 - 紫东太初(佛山)具身智能创新中心正式揭牌落户顺德,中科紫东太初计划投资2亿元组建华南首个多模态大模型全品类机器人训练场 [1] - 创新中心将围绕核心技术研发、产业生态构建、人才培养引进等关键环节进行深度协作,推动佛山具身智能产业发展 [2] - 创新中心将以紫东太初多模态大模型为核心打造自主可控的跨模态大模型通用人工智能平台,建设具身智能训练场 [2] 佛山智能机器人产业发展规划 - 佛山发布《加快智能机器人产业发展行动方案(2025-2030年)》,提出实施关键零部件攻坚行动和人工智能强基行动 [1] - 方案聚焦具身智能技术,支持企业突破多模态感知与运动控制技术,共建开源社区及数据平台 [1] - 方案提出加快垂类模型应用,推动研发行业及端侧模型,建设工业算法超市,提升"大模型+小模型"场景渗透率 [1] 产业协同与人才建设 - 中科紫东太初将以中科院自动化所技术力量为主,组建50人专业团队服务湾区机器人产业 [2] - 顺德具身智能机器人产业协同平台正式启用,汇聚政、产、学、研、用多方资源推动产业集群发展 [2] - 顺德拥有全国首个机器人国家中小企业特色产业集群,将聚焦4000亿元装备制造和4000亿元家电产业集群的协同优势 [3] 技术应用与场景拓展 - 创新中心将在机器人本体、机器人元器件、具身智能等领域强化技术创新和应用测试 [2] - 顺德计划推动机器人从工业自动化向城市服务、智能家居等多元场景延伸 [3] - 目标是通过具身智能与本地产业优势深度融合,打造新的产业增长极 [3]