研究核心观点 - 提出名为“通路感知多模态Transformer（PAMT）框架”的新方法，旨在实现更精准且可解释的多模态癌症生存分析 [1] - 该方法缩小了病理图像与基因表达数据之间的“语义鸿沟”，有助于精准治疗、避免过度治疗及优化医疗资源配置 [1] - 研究成果已发表于《IEEE模式分析与机器智能汇刊》 [1] 技术方法与创新 - 通过三步实现多模态数据的细粒度交互和融合：第一步利用自注意力机制进行单模态数据内部信息交流 [1] - 第二步采用无配对标签对比学习方法，使生物通路和病理图像块的语义信息对齐 [1] - 第三步以生物通路为指导，遵循“基因型决定表型”的医学先验，实现两种数据的精准融合 [1] 研究成果与性能 - PAMT在膀胱癌、肺鳞癌、肺腺癌三种癌症数据集上的生存预测性能均显著超过现有主流方法 [2] - 该方法展现出优秀的可解释性，能协助病理医生筛选关键生物通路、定位病理图像中受通路影响的区域，并挖掘预后相关的病理特征 [2] - 团队已搭建公开网站，可视化展示186条生物通路对全切片病理图像各区域的影响 [2]