行业趋势 - 2023年WAIC大会将"幻觉"列为首个热议话题，反映AI可靠性问题已成为全球技术焦点[1][12] - 行业进入Agent元年与具身智能量产元年，大模型落地应用呈现爆发态势[11] - 国际学界与产业界罕见联手推进AI安全研究，OpenAI、谷歌、Anthropic等40余家机构联合发布CoT监测论文[9][21] 技术突破 - 讯飞星火X1升级版在幻觉治理取得突破：事实性幻觉率降至9.52%（对比GPT-4的14.23%），忠实性幻觉率仅2.39%[7][30] - 采用多路径采样验证+事实性约束强化学习技术，实现慢思考模式下幻觉率显著低于主流模型[29] - 强化学习框架创新：通过"评语模型+细粒度反馈"解决奖励稀疏问题，数学推理步骤准确率提升至90.16%[27] 模型性能 - 综合能力对标国际一流模型，数学能力突破140分（高考数学一卷），最后难题完整解答率100%[31] - 多语言覆盖130+语种，语音同传模型实现语种免切换技术，实时响应与专业术语处理领先行业[32][37] - 医疗大模型在三甲医院双盲测试中，心血管内科诊断合理率达91.2%，超越主治医师水平[40][41] 产业应用 - 教育场景实现全链路升级：数学步骤批改F1值83.4%（较竞品提升20.7个百分点），英语口语学习可用率92.3%[39] - 代码大模型赋能100+企业，项目级代码理解使研发效率提升超50%，集成16000+工具构建Agent平台[42][43] - 技术落地形成闭环：从数据反写引擎（降低70%标注成本）到医疗/教育/工业全场景渗透[28][44][47] 学术观点 - 诺奖得主Hinton提出人类与AI认知同源论，指出数字化大脑在知识传递效率上远超生物大脑[3][15][16] - 郑南宁院士强调幻觉成因在于统计相关性驱动缺乏因果推理，导致多轮对话中系统性误导风险[18] - 技术演进双路径：短期需攻克幻觉等可靠性难题，长期需建立可持续的信任机制[25]

核心观点 - AI决策的可靠性与安全性是实际部署的核心挑战，提升模型可解释性是迫切需求[1] - 当前解释方法（如Shapley Value等）在多模态任务或大规模模型中存在局限性[1] - 提出视觉精度搜索(VPS)方法，可提高模型可理解性并解释预测错误原因[2][9] - 该方法在CVPR 2025获Highlight Paper(387/13008, 2.98%)[2] 背景挑战 - 多模态预训练技术使物体级基础模型(如Grounding DINO)应用广泛但解释复杂[8] - 现有方法面临两大挑战：基于梯度的方法定位不精确，基于扰动的方法噪声多[8] 方法创新 - 将归因问题建模为基于子模子集选择的搜索问题[12] - 设计线索分数(S_clue)评估区域定位识别能力[15] - 引入协作分数(S_colla)衡量子区域协同贡献[16] - 结合两者构建子模函数F(S,b_target,c)[17] - 使用贪心搜索算法生成显著图[18] 实验结果 - 在MS COCO目标检测任务中超越D-RISE方法：Insertion提升23.7%，Deletion提升6.7%，平均最高分提升10.6%[22] - 在RefCOCO指代表达理解任务中：Insertion提升20.1%，Deletion提升22.1%，平均最高分提升4.4%[22] - 在LVIS V1零样本检测任务中：Insertion提升31.6%，Deletion提升4.2%，平均最高分提升15.9%[22] - 显著图质量优于ODAM(弥散状)和D-RISE(嘈杂)，能清晰突出重要子区域[22] 错误解释能力 - 能解释视觉定位任务中的决策错误(如图5展示干扰区域)[25] - 能解释目标检测中的分类错误(如图6显示背景干扰区域)[27] - 能解释漏检错误原因(如图7显示相似物体混淆和环境因素影响)[30] 应用前景 - 可应用于模型训练提升决策合理性[32] - 可用于推理时监控决策进行安全防护[32] - 可通过可解释发现关键缺陷以最小代价修复模型[32]

AI技术安全现状与挑战 - AI技术应用潜力巨大但安全问题突出，如AI换脸诈骗、大模型失控等事件引发社会关注[1] - 当前AI安全主要面临四大风险：数据隐私风险、安全攻击门槛降低、生成式内容滥用、AI内生安全不足[3] - AI内生安全不足可能导致"AI幻觉"、决策误导等问题，在医疗、金融等领域影响尤为显著[3] 数据安全防护策略 - 全生命周期数据保护是核心策略，覆盖模型引入、训练、微调及智能体开发运行各环节[4] - 具体措施包括训练数据敏感信息扫描、开源模型供应链漏洞检测、智能体安全攻击测试等[5] - 当前防护盲区集中在供应链生态风险和多智能体协作风险，智能体开发低代码化加剧安全挑战[6] 企业风险应对建议 - 企业需建立长期安全部署，加强内部制度流程建设，而非依赖短期安全产品[8] - 重点关注三类风险：AI服务安全水位不均、企业内数据流转失控、新型大模型攻击[8] - 初期应强化模型数据引入审查及AI服务开放前测试，降低供应链风险影响[9] 平台治理与行业标准 - 平台方需承担智能体开发一线管控责任，但跨平台治理需政府监管介入[7] - 行业标准是构建安全生态的基础框架，可统一技术规范、降低中小企业安全门槛[17] - 蚂蚁集团已参与制定80余项AI安全国际国内标准，2024年将发布智能体安全新信息[17] 技术创新与安全平衡 - AI安全与创新发展相互促进，需动态更新安全策略并利用AI技术升级防御[16] - 风险控制需精细化，结合用户意图判断风险而非简单拦截，提升隐私保护技术[9] - 服务引导策略优于强制拦截，可通过官方入口引导满足用户需求[10] 蚂蚁集团实践案例 - 推出"蚁天鉴"大模型安全解决方案，包含安全检测平台和风险防御平台[11] - 检测平台采用对抗学习实现"以攻促防"，防御平台覆盖模型全生命周期[11] - 方案已应用于数十家外部机构，保护医疗、金融、政务等领域大模型安全[12] 数据安全战略定位 - 大模型数据安全兼具技术保障和战略竞争力双重属性[13] - 全球数据安全法规竞争激烈，AI安全治理框架成为各国争夺话语权领域[14] - 新加坡和中国相继发布AI治理框架，强调数据在生成式AI中的核心作用[14] AI安全未来趋势 - 安全能力嵌入AI基础设施实现"出厂即安全"，降低应用环节投入[15] - 发展特定安全技术如数字水印，解决中小企业应用风险[15] - 需建立多层次AI安全治理体系，关注数据透明度、深度伪造防范等[15]

公司发展历程 - 2008年以2500元启动资金在中关村10平米隔断房创业，开发"虫洞"语音助手，初期语义理解准确率仅30%[2][4] - 2010年获得微软创投加速器支持，语义理解准确率提升至80%，用户量从几千增至3800万[6] - 2014年转型为开放AI对话平台，推出图灵机器人，服务60万开发者，累计响应1462亿次对话[2][7] - 2015年发布全球首个人工智能级操作系统Turing OS[11] - 2018年进军工业机器人领域，开发自主IPC控制系统，精度达0.02毫米[11][12] - 2025年工业机器人累计出货超3万台，应用于新能源、半导体等行业[13] 技术突破 - 建立150亿条中文对话语料库，中文语义理解准确率达90%，达到人类6-7岁认知水平[9][10] - 开发基于Linux的IPC控制系统，在宝钢冷轧产线实现效率提升20%[11][12] - 2024年推出"可信AI平台"，采用联邦学习技术，银行风控准确率提升至92%[23] - 开发"AI能力中台"，模块化输出NLP、CV等技术，服务2万家中小企业覆盖20多个行业[24] 市场拓展 - 2016年获奥飞娱乐5000万元投资，估值达10亿元[15] - 采取"行业解决方案"策略快速变现，如为北京协和医院开发智能导诊系统，准确率95%，日均服务超万人次[17] - 2025年进军东南亚市场，在印尼、越南设分支机构，泰国超市库存管理系统提升周转率30%，马来西亚500所学校采用AI教育助手[17][18] 产品策略 - 推出"基础版"和"专业版"双产品线，平衡消费级市场与企业客户需求[20] - 开发"AI反诈助手"拦截诈骗信息超10亿条，推出"乡村振兴AI平台"服务农民[21] - 计划投入1亿元开发老年人AI陪伴机器人[22] 行业地位 - 中国AI创业者在技术与市场夹缝中突围的典型案例[2][25] - 在高端工业机器人市场打破ABB、发那科等外资垄断[11] - 目标成为东南亚"AI基础设施提供商"[18]

人工智能信任与接受度 - 中国受访者对人工智能的信任度和接受程度显著高于全球平均水平 [1] - 新兴经济体的民众对AI的信任度和接受度更强 且对AI使用前景更乐观 [1] - 新兴经济体的民众自评AI素养(64%)和培训覆盖率(50%)均高于发达经济体(分别为46%和32%) [2] 人工智能应用领域 - 智能网联汽车 人工智能手机和电脑 智能机器人有望成为中国今年"人工智能+"重点赋能领域 [1] - AI影响力将深入到各个领域 渗透至社会的每一个角落 [2] 人工智能实际效益 - 全球八成受访者亲历AI技术红利 包括自动化处理日常工作 个性化服务精准触达 运营成本显著优化 技术门槛持续降低 [1] - 新兴经济体的民众感受到的AI实际效益更为显著(82%) 而发达经济体的比例为65% [2] 人工智能治理与发展 - AI的可持续发展必须建立在信任基础之上 各类组织在构建"可信AI"生态中承担着关键角色 [1] - 毕马威独创的"可信AI"评估体系 要将抽象的信任价值转化为可量化 可验证的治理标准 [1] - AI应回归以人为本 提升人的潜能 建立伦理和安全保障 塑造"人机共生"的新文明形态 [2]