上海人工智能实验室定位与目标 - 公司是我国人工智能领域新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地 [1] 明珠湖会议核心观点与机制 - 会议核心观点强调"对发现问题的投入与解决问题同样重要"，通过科学社区力量推动创新，历史案例包括英国皇家学会、"月光社"及美国"阿帕社区" [3][10][12] - 会议采用创新组织形式：引导报告提出关键问题、"结对报告"凝练问题、平行论坛深化问题，聚焦18-36个月技术窗口期，产出颠覆性关键问题清单和敏捷部署提案 [17][18] - 首届会议吸引全球近60位青年学者和产业领袖参与，凝练出14个提案和39个关键问题清单，主题为"人工智能的多维突破与协同创新" [5][19] 人工智能前沿十大关键问题 1. **智能效率平衡**：提出"单位智能"(IQ per token)概念，定义数据思维密度(IQPT)衡量大模型训练数据的投入产出比，2025年1月由公司正式提出 [21][22] 2. **深度强化学习资源分配**：探讨Deep RL算力在数据合成与算法训练间的平衡，追求效率飞轮实现AI自我训练 [23][25] 3. **软硬协同路径**：对比国际"软件兼容硬件"(如英伟达CUDA生态)与国内"硬件兼容软件"模式，需探索更高效协同路径 [26][28] 4. **算力配置策略**：划分应用算力、迭代算力和创新算力，指出当前创新算力严重不足制约颠覆性技术发展 [29] 5. **智能体进化机制**：探讨Agent与基座模型关系，需突破"僵化学习"实现持续自主进化，需构建环境预测模型(世界模型) [30][32] 6. **具身智能突破**：研究大脑与本体最优关系，避免"超级大脑-弱本体"或"高级本体-简单决策"陷阱 [34] 7. **AI安全范式转变**：从"弥补安全漏洞"(Make AI Safe)转向"构建本质安全AI"(Make Safe AI)，提出"人工智能45°平衡律" [35][37] 8. **评测体系重构**：从静态"高分低能"转向动态"训练-评测-解决问题一体化"，公司2025年4月发布TTRL框架 [38][40] 9. **AI科研革命**：推动AI for Science从"工具的革命"升级为"革命的工具"，需突破多模态统一表征 [41][43] 10. **架构颠覆创新**：分析Transformer局限性(计算效率/上下文理解等)，探索下一代架构应对决策智能、生物智能等领域需求 [44] 人工智能发展趋势"三化"框架 - **技术体系化**：需完善智能本质理论体系，弥补应用先行的学科短板 [19] - **形态多元化**：强调与实体经济融合，因场景丰富度与技术不完备性将催生多元形态 [19] - **能力高阶化**：需基于技术体系化和要素突破推动智能水平持续升级 [20] 战略科学家培养模式 - 公司通过"高强度要素投入+高集中任务攻关+高密度人才历练场"三位一体模式培育战略科学家，链接国内外团队构建人才蓄水池 [47] - 历史案例显示战略科学家多在承担重大任务时涌现，如美国"阿帕社区"产生7位图灵奖得主，匈牙利"黄金一代"科学家等 [12][46]

本文第一作者为中国科学院大学的博士生陈若愚，主要研究可解释 AI 以及在训练推理中的落地应用。第二作者为新加坡国立大学的梁思源，主要研究可信 AI。 主要合作者来自华为技术有限公司的刘势明和李茂森。通讯作者为中山大学的操晓春教授和中科院的张华研究员。 AI 决策的 可靠性与安全性 是其实际部署的核心挑战。当前智能体广泛依赖复杂的机器学习模型进行决策，但由于模型缺乏透明性，其决策过程往往难以被理解与 验证，尤其在关键场景中，错误决策可能带来严重后果。因此，提升模型的可解释性成为迫切需求。 目前已有的解释方法，如 Shapley Value、Integrated Gradients、Attention、Gradient（如 Grad-CAM）以及 Perturbation 等，虽然在小规模模型中取得了较好的解释效 果，但在面对多模态任务或大规模模型时，均存在不同程度的局限性，难以直接扩展或适用。因此， 发展一种在大模型与小模型中均具有良好适应性的高效可解 释归因方法具有重要意义 。 近期，中国科学院、新加坡国立大学、华为技术有限公司与中山大学的联合研究在多模态物体级基础模型的可解释归因技术方面取得了重要突破， 不 ...

AI技术安全现状与挑战 - AI技术应用潜力巨大但安全问题突出，如AI换脸诈骗、大模型失控等事件引发社会关注[1] - 当前AI安全主要面临四大风险：数据隐私风险、安全攻击门槛降低、生成式内容滥用、AI内生安全不足[3] - AI内生安全不足可能导致"AI幻觉"、决策误导等问题，在医疗、金融等领域影响尤为显著[3] 数据安全防护策略 - 全生命周期数据保护是核心策略，覆盖模型引入、训练、微调及智能体开发运行各环节[4] - 具体措施包括训练数据敏感信息扫描、开源模型供应链漏洞检测、智能体安全攻击测试等[5] - 当前防护盲区集中在供应链生态风险和多智能体协作风险，智能体开发低代码化加剧安全挑战[6] 企业风险应对建议 - 企业需建立长期安全部署，加强内部制度流程建设，而非依赖短期安全产品[8] - 重点关注三类风险：AI服务安全水位不均、企业内数据流转失控、新型大模型攻击[8] - 初期应强化模型数据引入审查及AI服务开放前测试，降低供应链风险影响[9] 平台治理与行业标准 - 平台方需承担智能体开发一线管控责任，但跨平台治理需政府监管介入[7] - 行业标准是构建安全生态的基础框架，可统一技术规范、降低中小企业安全门槛[17] - 蚂蚁集团已参与制定80余项AI安全国际国内标准，2024年将发布智能体安全新信息[17] 技术创新与安全平衡 - AI安全与创新发展相互促进，需动态更新安全策略并利用AI技术升级防御[16] - 风险控制需精细化，结合用户意图判断风险而非简单拦截，提升隐私保护技术[9] - 服务引导策略优于强制拦截，可通过官方入口引导满足用户需求[10] 蚂蚁集团实践案例 - 推出"蚁天鉴"大模型安全解决方案，包含安全检测平台和风险防御平台[11] - 检测平台采用对抗学习实现"以攻促防"，防御平台覆盖模型全生命周期[11] - 方案已应用于数十家外部机构，保护医疗、金融、政务等领域大模型安全[12] 数据安全战略定位 - 大模型数据安全兼具技术保障和战略竞争力双重属性[13] - 全球数据安全法规竞争激烈，AI安全治理框架成为各国争夺话语权领域[14] - 新加坡和中国相继发布AI治理框架，强调数据在生成式AI中的核心作用[14] AI安全未来趋势 - 安全能力嵌入AI基础设施实现"出厂即安全"，降低应用环节投入[15] - 发展特定安全技术如数字水印，解决中小企业应用风险[15] - 需建立多层次AI安全治理体系，关注数据透明度、深度伪造防范等[15]

"2008 年冬天，我们四个人挤在中关村 10 平米的隔断房里，用 2500 元启动资金开发虫洞语音助手。那时候连像样的办公桌椅都没有，拆 纸箱当桌子用。" 回忆起 17 年前的创业起点，图灵机器人创始人俞志晨的眼神依然闪烁着光芒。 这个从江西上饶走出的数学天才，用 17 年时间将一个 "让机器理解人类" 的朴素梦想，变成了服务 60 万开发者、累计响应 1462 亿次对话 的 AI 帝国。 他的故事，是中国 AI 创业者在技术与市场夹缝中突围的缩影。 数学天才的 "反骨"从学霸到创业愣头青 1985 年，俞志晨出生在江西上饶一个普通教师家庭。这个从小泡在数学竞赛里的男孩，高二就斩获全国数学联赛一等奖，被保送至北京 交通大学应用数学系。 在导师贺仲雄教授门下，他接触到模糊数学、人工智能等前沿领域，本科毕业设计就发表了两篇 SCI 论文。 2007 年毕业时，这个天之骄子却做出惊人之举 —— 放弃保送中科院的机会，选择创业。"在实验室做研究固然好，但我更想看看数学能 如何改变真实世界。" 这个决定让他的人生轨迹彻底转向。 创业第一站是手机端应用。2008 年，俞志晨带着三个同学租下中关村一间 10 平米的隔断房 ...

调查显示，新兴经济体的民众自评AI素养(64%)和培训覆盖率(50%)均高于发达经济体(分别为46%和 32%)。更为重要的是，新兴经济体的民众感受到的AI实际效益更为显著(82%)，而发达经济体的比例为 65%。 毕马威中国数字化赋能及人工智能主管合伙人张庆杰认为，未来，AI的影响力将深入到各个领域，渗 透至社会的每一个角落。AI在驱动更高层次的智能化、促进跨行业间协作的同时，也应回归以人为 本，提升人的潜能，建立伦理和安全保障，塑造"人机共生"的新文明形态。 对此，毕马威全球人工智能主管大卫.罗兰兹表示，公众对AI系统的可信性要求已成为技术转化的先决 条件。AI的可持续发展必须建立在信任基础之上，各类组织在构建"可信AI"生态中承担着关键角色，需 要以主动治理赢得利益相关方的信任。毕马威独创的"可信AI"评估体系，正是要将抽象的信任价值转化 为可量化、可验证的治理标准。 值得关注的是，调查报告显示，与发达经济体相比，新兴经济体的民众在工作和生活中对人工智能的采 用率更高，对AI的信任度和接受度也更强，并且对AI的使用前景感到乐观。 中证网报中证网讯(记者倪铭娅)中国证券报记者5月13日获悉，近日，毕马威发 ...