多模态人工智能
搜索文档
基于1.4万真实数据,华盛顿大学/微软等提出GigaTIME,绘制全景肿瘤免疫微环境图谱
36氪· 2026-02-12 19:37
研究核心成果 - 微软研究院、华盛顿大学与Providence Genomics的研究团队开发了多模态AI框架GigaTIME,能够从常规H&E病理切片生成虚拟的多重免疫荧光图谱,从而对肿瘤免疫微环境进行系统性建模 [1][3] - 该研究已发表于顶级期刊《Cell》,其核心亮点在于使用AI将H&E切片转化为空间蛋白质组学数据,支持大规模的临床发现和患者分层,并揭示了新的空间和组合蛋白质激活模式 [4][5] 技术原理与模型架构 - GigaTIME模型采用基于嵌套U型网络的补丁式编码器-解码器框架,能同时捕获图像的局部细微特征和全局组织结构 [13] - 模型接收256x256像素的H&E图像块,通过编码器提取特征,再由解码器重构为具有空间分辨率的虚拟mIF图像,最终输出涵盖21个预设蛋白质通道的像素级别活性图谱 [13][15] - 训练策略结合了Dice损失与二元交叉熵损失,在8块NVIDIA A100 GPU上进行了250个epoch的训练,批处理大小为16,学习率为0.0001 [17] 训练数据与质量控制 - 研究团队借助COMET平台,从21张H&E切片中采集了441张配对的mIF图像,覆盖21个关键生物标志物 [7] - 通过VALIS工具进行像素级图像对齐,使用StarDist算法进行细胞识别与切割,并依据Dice系数筛选高质量区域,最终从包含4千万个细胞的初始数据中精选出1千万个高质量细胞用于训练 [9][17] - 研究引入了来自组织微阵列的乳腺癌与脑癌样本作为外部验证集,以检验模型面对新样本类型和未见癌种时的泛化能力 [9] 应用队列与数据规模 - 构建了两个大规模虚拟人群队列:第一个来自Providence Health医疗集团,包含旗下51家医院和1,000多家诊所的14,256名癌症患者的H&E切片,覆盖24种主要癌症类型和306个细分亚型 [11] - 第二个队列取自公共数据库TCGA,包含10,200例以早期、未经治疗的手术样本为主的H&E切片 [11] - 应用GigaTIME框架后,最终从Providence Health队列生成了近30万张虚拟mIF图像 [1][3] 模型性能验证 - 在技术验证上,GigaTIME在像素、细胞和切片三个层面均显著优于基线模型CycleGAN [18] - 在像素层面,GigaTIME在21个蛋白通道中的15个上表现更优,例如在DAPI通道上,其Dice系数达到0.72,远超简单统计基线的0.12 [18] - 在细胞层面,GigaTIME在DAPI通道的相关性达到0.59,而CycleGAN仅为0.03;在切片层面,GigaTIME的DAPI通道相关系数高达0.98,所有通道平均为0.56,而CycleGAN均接近0 [18] 临床发现与生物学洞见 - 利用14,256名患者的近30万张虚拟mIF图像,系统分析了虚拟蛋白表达与20种临床生物标志物的关联,共识别出1,234个显著关联 [19] - 在泛癌分析的175个关联中,发现高肿瘤突变负荷和高微卫星不稳定性与多种免疫浸润标志物的激活增强显著相关,同时揭示了KMT2D突变与免疫标志物呈强正相关、KRAS突变呈负相关等新线索 [21] - 在特定癌种及亚型中揭示了大量特异性关联,例如脑癌中T-bet与TP53突变的强相关,以及肺腺癌中PRKDC突变与免疫响应标志物的关联强于肺鳞状细胞癌 [21] - 所有主要发现在TCGA独立队列中得到验证,核心发现高度一致,癌亚型层面斯皮尔曼相关系数达0.88 [23] 行业比较与商业前景 - 该领域吸引了全球顶尖学术机构探索:斯坦福大学的HEX模型能预测40种生物标志物的空间表达;加州大学旧金山分校的DeepHeme系统实现了23类骨髓细胞的精准分类 [28] - 产业界已有商业实践:Reveal Biosciences开发从病理图像提取“数字生物标志物”的平台;Optellum的肺结节诊断平台已获FDA批准 [28] - Providence Health虚拟人群在泛癌层面发现的显著关联比TCGA队列多33%,凸显了大规模真实世界数据的独特价值 [25]
中国科学家研发出自主显微眼科手术机器人系统
新浪财经· 2026-01-20 11:55
核心观点 - 中国科学院自动化研究所成功研发并验证了一款自主显微眼科手术机器人系统的临床可行性 该系统旨在提高眼科手术的精确性、安全性和一致性 辅助外科医生专注于手术设计和监督 [1] 技术研发与突破 - 研发主体为中国科学院自动化研究所多模态人工智能系统全国重点实验室边桂彬研究员课题组 [1] - 系统为自主显微眼科手术机器人系统 已成功验证临床可行性 [1] - 系统在整个眼内空间可实现自主的视网膜下注射和血管内注射 [1] - 相关研究成果已发表于国际学术期刊《科学•机器人》 [1] 系统功能与优势 - 该系统可显著提高眼底注射的精确性、安全性和一致性 [1] - 系统可辅助外科医生更加专注于手术设计和监督任务 [1]
【中国新闻网】中国团队成功研发自主显微眼科手术机器人系统 已验证临床可行性
中国新闻网· 2026-01-20 10:11
行业技术发展 - 人工智能技术的快速发展和应用正推动眼科手术机器人成为业界聚焦和攻关的重要方向 [1] - 自主机器人手术系统在眼科手术中的应用能通过更智能、精准的操作提升手术安全性 缩短外科医生学习曲线 为多种眼科疾病治疗提供新可能 [3] - 研究成果为眼内手术自主化开辟了全新技术路径 有望推动眼科手术治疗实现智能化、精准化升级 并在远程医疗和极端环境等复杂场景中展现出巨大应用潜力 [4] 公司产品与研发 - 中国科学院自动化研究所团队最新成功研发出一款面向眼内空间的自主显微眼科手术机器人系统 并已验证临床可行性 [3] - 该机器人系统在整个眼内空间能实现自主的视网膜下和血管内注射 可显著提高眼底注射的精确性、安全性和一致性 最大限度减少医源性损伤 [3] - 研究团队创新构建了从术中三维空间感知、跨尺度精确定位到轨迹精准控制的核心算法模块 [3] 技术细节与创新 - 三维空间感知方面 提出一种多视角空间融合方法 有效克服多模态眼内成像中的成像异质性和动态空间失准问题 构建术中动态更新的全局三维地图 [4] - 精确定位方面 提出一种基于准则加权的多传感器数据融合方法 解决了检测范围、误差幅度和采样频率的差异 使机器人手术器械尖端在眼内区域实现精确的宏观-微观定位 [4] - 轨迹控制方面 提出多约束目标优化方法 对机器人末端执行器的轨迹进行精确规划 并结合人监督下的力-位置-影像混合控制 确保手术安全性 [4] 实验验证与性能 - 在眼球假体、离体猪眼球及活体动物眼球的视网膜下注射与血管注射实验验证中 该自主显微眼科手术机器人系统均实现100%的注射成功率 [4] - 与医生手动手术及医生主从操作机器人手术相比较 该系统的平均定位误差分别减少79.87%和54.61% 表现出更高的安全性和精准性 [4] 市场与需求背景 - 视觉是人类感知世界、获取外部信息最主要的渠道 据世界卫生组织统计 全球已有超22亿人视力受损或失明 [3]
人工智能专家凌海滨全职加入西湖大学,创立智能计算与应用实验室
生物世界· 2025-12-30 08:18
核心人事任命与研究方向 - 西湖大学宣布,国际电气和电子工程师协会会士凌海滨全职加入工学院,受聘讲席教授,并牵头创立智能计算与应用实验室 [2] - 该实验室致力于开展人工智能以及跨学科的研究与应用,研究方向包括计算机视觉、多模态人工智能、增强现实、AI for Science、量子信息等 [2] 专家背景与职业经历 - 凌海滨于1997年获北京大学学士学位,2000年获北京大学硕士学位,2006年获美国马里兰大学帕克分校博士学位 [4] - 其职业经历包括微软亚洲研究院助理研究员、加州大学洛杉矶分校博士后研究员、西门子研究院科学家 [4] - 2008年起任教于天普大学,先后担任助理教授和副教授,2019-2025年任纽约州立大学石溪分校Empire Innovation教授,2025年加入西湖大学 [5] - 在北京大学期间完成了从数学到计算机的专业跨越,博士阶段选择了计算机视觉方向 [5] - 其博士期间关于“利用计算机识别形状多变的树叶”的研究催生了全球第一款手机植物识别APP——LeafSnap [5] - 博士毕业后聚焦计算机视觉领域,主攻动态目标追踪技术 [5] 研究领域与学术成就 - 凌海滨的研究领域涵盖计算机视觉、增强现实、医学图像分析、机器学习及AI for Science [6] - 曾获ACM UIST最佳学生论文奖、美国自然科学基金CAREER奖、雅虎教授研究发展奖、亚马逊机器学习研究奖及IEEE VR最佳期刊论文奖 [6] - 现任/曾任《IEEE模式分析与机器智能汇刊》、《IEEE可视化与计算机图形学汇刊》、《计算机视觉与图像理解》及《模式识别》等期刊编委,并长期担任CVPR、ICCV、ECCV、ACM MM等人工智能顶级会议领域主席 [6] - 其学术成果引用总计51080次,2020年至今引用35245次,h指数为98,i10指数为315 [8] - 代表性论文包括《LIME: Low-light image enhancement via illumination map estimation》(被引3108次)、《Lasot: A high-quality benchmark for large-scale single object tracking》(被引2027次)和《U2Fusion: A unified unsupervised image fusion network》(被引2021次) [7]
微软最新Cell论文:AI 将常规病理切片转化为肿瘤免疫图谱,最终目标是生成“虚拟患者”,加速癌症治疗
生物世界· 2025-12-15 12:33
文章核心观点 - 微软研究院团队开发了一个名为GigaTIME的多模态人工智能框架,该框架能够从常规的H&E病理切片预测生成虚拟的多重免疫荧光图像,从而低成本、高通量地大规模建模肿瘤免疫微环境,为癌症研究和个性化医疗开辟了新途径[3][4] 传统技术的局限与AI的突破 - 多重免疫荧光技术能提供丰富的蛋白质空间表达信息,但成本高昂、流程复杂,难以大规模应用[7] - H&E染色作为病理学常规检查,成本低廉且广泛应用,但无法直接显示蛋白质活性[8] - 研究核心是探索能否通过AI技术,从H&E切片中提取足够信息来预测蛋白质的空间表达[9] GigaTIME技术框架 - GigaTIME是一个通过连接细胞形态和状态来进行大规模群体肿瘤免疫微环境建模的多模态AI框架,该工具已免费开源[4] - 该框架在包含4000万个细胞的配对H&E和mIF数据上进行训练,成功实现了从H&E切片到21种蛋白质mIF图像的跨模态转换[4][10] - 输入一张H&E切片,AI模型能同时输出21个蛋白质通道的虚拟mIF图像,实现像素级的蛋白质激活状态预测[10] 大规模验证与应用 - 研究团队将GigaTIME应用于普罗维登斯健康系统的14256名患者数据,涵盖24种癌症类型和306种亚型[12] - 最终生成了299376张虚拟mIF图像,构建了迄今为止最大的肿瘤免疫微环境虚拟群体[12] - GigaTIME在DAPI核染色通道上的Dice分数达到0.72,显著优于传统CycleGAN方法的0.03[12] 临床发现与洞察 - 从生成的虚拟群体中,研究团队识别了1234个统计学显著的蛋白质-生物标志物关联,涵盖泛癌、癌症类型和亚型三个层次[13][14] - 在泛癌水平,研究证实了TMB-H和MSI-H基因型与CD138、CD20等免疫标志物的正相关,并发现KMT2D突变与CD3、CD8、CD20等免疫浸润标志物呈正相关[14] - GigaTIME能捕捉蛋白质的空间分布模式,其空间指标相比简单的激活密度能揭示更强的临床关联[16] - 研究探索了蛋白质组合效应,例如CD138和CD68的组合在预测生物标志物时表现出协同效应[16] 临床应用前景与验证 - 整合所有21个蛋白质通道的GigaTIME特征在预测患者生存方面优于单个蛋白质通道,强调了多重分析的重要性[19] - 在TCGA数据库的10200名患者中进行独立验证,虚拟蛋白质激活与普罗维登斯数据高度相关,Spearman相关系数达0.88,两个群体共享80个显著的蛋白质-生物标志物关联,显示了良好的可重复性[19] 未来展望 - 研究团队计划未来探索更多蛋白质通道,并整合细胞分割模型来研究细胞间相互作用,进一步揭示肿瘤微环境的复杂规则[21] - GigaTIME代表了多模态AI在数字病理学中的重要进展,为以更低成本、更大规模探索肿瘤微环境复杂性并开发更有效治疗策略奠定了基础[22]
AI 交易:2025 年完整指南
新浪财经· 2025-12-02 19:59
人工智能交易的行业影响与规模 - 人工智能技术为金融市场带来效率、准确性和速度的革命性提升 [1] - 到2025年,人工智能将处理全球近89%的交易量,覆盖高频股票交易和去中心化加密生态系统 [1][10] 核心技术驱动因素 - 人工智能交易平台利用先进算法、机器学习、神经网络和实时数据分析实现自动化交易 [1][10] - 关键AI技术包括监督学习、强化学习、自然语言处理、量子计算和多模态人工智能等 [12] - 市场每日产生并处理超过250万兆字节的多维数据,包括新闻、社交媒体和卫星图像 [13] - 人工智能系统实现纳秒级交易响应,速度较人类提升数个量级 [13] 主流交易策略与应用 - 人工智能交易策略结合机器学习、预测分析和神经网络以优化金融交易决策 [14] - 策略涵盖量化交易、算法交易、情绪分析和强化学习,旨在最大化收益并管理风险 [14] - 高级交易技术包括基于数学模型的算法交易、情绪分析、混合自适应策略和回测平台 [15] 平台类型与市场参与者 - 人工智能交易平台主要分为机构平台、零售平台和加密货币平台 [13] - 监管机构如美国证交会通过批准新型AI驱动订单类别,赋予自主交易系统合法地位 [13] - 市场参与者对执行效率与风险管理最大化的工具需求日益迫切 [13] 行业入门指南 - 新手入门需构建知识基础、选择用户友好且安全的交易平台 [16][17] - 关键步骤包括制定数据驱动策略、进行回测、从小额投资开始并持续学习 [17] - 建议参与社区论坛以保持信息更新 [17]
MIT成果登Nature正刊:90天,「AI科学家」完成3500次电化学测试
36氪· 2025-10-21 09:34
研究平台概述 - 美国麻省理工学院李巨团队在国际顶尖学术期刊Nature上发表研究论文,展示多模态机器人平台CRESt,该平台通过融合多模态模型与高通量自动化实验来提升催化剂研发速度和质量[1] - CRESt平台致力于通过自动化实验采集不同形式数据,并将其纳入知识辅助的贝叶斯优化同一主动学习框架[3] - 平台发展表明将多模态人工智能与自动化机器人平台结合可使庞大化学设计空间探索变得可行,为加速化学与材料科学发现提供可推广蓝图[14] 技术方法与创新 - 机器人系统确保化学成分精确控制,高通量扫描电子显微镜提供微观结构图像并通过计算机视觉分析,而大语言模型将文献知识嵌入搜索空间[6] - 将不同数据源进行向量化处理并通过主成分分析保留大部分方差信息使优化过程更高效,优化后配方被映射回元素配比并进行实验测试形成材料设计、制备和测试闭环[6] - 算法创新提出策略改进约束的贝叶斯优化,引入拉格朗日乘子动态调整探索与利用平衡从而避免手动调参[6] - 采用视觉–语言模型辅助实验诊断不可重复来源并提出纠正措施,例如识别移液枪尖微米尺度错位或激光切割木质样品夹具表面炭化痕迹等问题[8] 实验成果与性能 - 在短短三个月内完成900多种催化剂化学组成和3500多次电化学测试,在三元和八元体系中发现比传统最优纯钯基性能大幅提升化学配方[6] - 发现由Pd、Pt、Cu、Au、Ir、Ce、Nb和Cr组成八元高熵合金催化剂,其单位成本功率密度比纯钯基准样品提高9.3倍,在直接甲酸盐燃料电池中实现目前最高性能,仅需以往贵金属负载量四分之一[9][12] - X射线衍射与Rietveld精修分析确认优化配方保持单一面心立方相,表明合金策略在调节局部配位环境同时仍能保持晶体学稳定性[12] 机理分析与验证 - 将原位X射线吸收光谱与密度泛函理论计算结合理解性能提升机理,光谱结果显示钯和铂在反应条件下保持金属态至关重要[12] - 密度泛函理论计算表明高熵合金中钯位点在间接氧化路径上决定步骤能垒为–0.005 eV,而纯钯为0.706 eV,意味着其抗一氧化碳中毒能力大幅提升[12] - 投影态密度分析显示高熵合金中钯d带中心相对于纯钯明显下移,从而减弱氢和一氧化碳吸附强度促进脱附过程,这些理论预测得到同位素标记和CO剥离实验验证[12]
安博通(688168):安全人工智能产品收入突破,致力构建AI时代安全算力生态
中泰证券· 2025-08-21 20:22
投资评级 - 维持"增持"评级 [2][4] 核心财务数据 - 2024年营收7.37亿元(+34.37%),归母净利润-1.19亿元(同比转亏),经营活动现金流净额1.57亿元(同比转正) [4] - 2025Q1营收3.08亿元(+444.91%),归母净利润-0.49亿元(亏损同比扩大) [4] - 2025-2027年营收预测:8.14/9.22/10.55亿元,归母净利润0.04/0.27/0.61亿元 [4] - 2024年毛利率66%,2025-2027年预测毛利率64.9%/65.3%/66% [7] 业务亮点 - 安全人工智能产品收入突破,成为第二增长曲线 [1][4] - 下一代AI防火墙获网络安全创新产品奖,SPOS平台被一线厂商广泛搭载 [4] - 2024年战略升级为"AI时代安全算力生态构建者",参与多模态人工智能产业联合体 [4] - 与浪潮云、江原科技达成战略合作,拓展AIGC产品研发与国产化解决方案 [4] - 承接无锡人工智能智算中心平台搭建项目,拓展AI算力设备业务 [4] 财务预测 - 2025-2027年营收增长率:10.5%/13.2%/14.4% [7] - 2025-2027年归母净利润增长率:103%/647%/123% [7] - 2025-2027年ROE预测:0.3%/2.4%/5.1% [7] - 2025-2027年每股收益:0.05/0.35/0.79元 [7] 市场表现 - 当前股价78元,总市值59.95亿元 [3] - 2025年P/E为1648.1倍,P/B为5.4倍 [2]
Cell综述:生成式AI,开启医学新时代
生物世界· 2025-07-13 16:16
人工智能在生物医学领域的应用 - 生物医学领域的技术创新如药物研发、外科技术、生物通路理解和成像技术进步推动了生活质量和健康寿命的提升 [2] - 现代人工智能的进步得益于Transformer架构、生成对抗网络和diffusion模型等关键架构创新,推动了生成式人工智能系统的发展 [2] 人工智能在医学领域的变革性潜力 - 大语言模型(LLM)和多模态人工智能通过改进诊断、患者互动和医疗预测改变医学领域 [6] - 大语言模型实现对话式界面、简化医疗报告并协助临床决策,多模态人工智能整合图像和基因数据在病理学和医疗筛查中表现优异 [6] - AI驱动的工具通过持续监测和多尺度预测有望实现主动、个性化的医疗保健 [6] 医疗实践的变革 - AI赋能的医疗实践将临床护理从偶发性互动转变为持续监测和定期随访 [8] - 医疗事件可在熟悉环境中更早得到持续关注,新医学知识更易融入护理模式并借助AI技术开发新药物 [8] 多尺度医疗预测 - AI算法基于动态输入预测未来医疗事件,应用于从分子层面到群体层面的多个层面 [10] 医疗AI的未来与挑战 - AI在医疗健康领域的进展使工具能处理海量信息,显著提高诊断准确性和改善患者治疗结果 [11] - AI进步如高级筛查、创新成像技术、预测分析和个性化管理计划有望将患者护理从被动模式转变为主动系统 [11] - AI工具在临床的全面接受仍面临挑战,大多数工具处于开发阶段,临床应用是主要障碍 [11] 医疗AI实施路线图 - 基础科学研究催生概念验证模型,大规模模型和早期临床应用为最终临床部署和优化奠定基础 [14]
Nature子刊:多模态AI模型,预测心脏病患者死亡风险
生物世界· 2025-07-09 12:02
心源性猝死与肥厚型心肌病 - 心源性猝死(SCD)是全球主要死亡原因之一,北美和欧洲年发病率为每10万人50-100例 [1] - 室性心律失常是SCD主要机制,植入式心脏复律除颤器(ICD)可有效预防高危患者死亡 [1] - 当前基于左心室射血分数(LVEF)的风险分层方法对缺血性和扩张型心肌病患者效果有限 [2] MAARS AI模型技术特点 - 采用多模态人工智能技术分析电子健康记录、超声心动图、放射学报告和心脏磁共振图像 [8] - 基于Transformer神经网络架构,特别整合对比增强心脏磁共振数据作为独特优势 [8] - 模型全称为Multimodal Artificial intelligence for ventricular Arrhythmia Risk Stratification [4][7] MAARS模型性能表现 - 内部验证队列AUC达0.89,外部验证队列AUC为0.81,显著优于临床指南的0.27-0.35和0.22-0.30 [10] - 在各人口亚群体中表现公平,提供多层次解释以增强AI透明度 [10] - 可作为临床决策支持工具改善肥厚型心肌病患者的个性化医疗护理 [10] 研究发表信息 - 研究成果由约翰·霍普金斯大学团队发表于Nature Cardiovascular Research期刊 [3] - 论文标题为《Multimodal AI to forecast arrhythmic death in hypertrophic cardiomyopathy》 [3] - 研究发布时间为2025年7月2日 [3]