智能驾驶与AI安全 - 智能驾驶行业当前面临严重安全隐患 强调"安全是1 跑得快是0"的核心逻辑 [6][7][8] - 小米近期疑似因智能驾驶系统故障导致重大车祸 凸显技术落地风险 [7] - 行业论坛明确提出"对智能驾驶来说 安全是最大的奢侈" 反映监管趋严态势 [6] AI模型幻觉问题 - DeepSeek-R1模型在Vectara HHEM测试中幻觉率达14.3% 是V3版本的3倍 [14][15] - 医疗场景测试显示模型对错误答案置信度常高于正确答案 存在系统性风险 [22] - 模型幻觉根源于训练数据噪声/过拟合/生成策略不可控 属于统计学固有缺陷 [25][26][27] AI医疗应用风险 - IBM Watson被曝训练数据包含假设性案例 暴露标注质量隐患 [31] - 模型存在四大诊断偏差：过度自信/锚定效应/确认偏误/归因偏差 [29][32][37][42] - 罕见病诊断场景中 模型受概率统计限制易忽视低频关键症状 [37][41] 安全防控策略 - 严肃领域AI需构建"症状-疾病网络"检查机制 强制覆盖所有实体组合 [61] - 建议采用多模型交叉验证机制 如用DeepSeek校准ChatGPT输出 [58] - 医疗诊断需配置10人分析师团队分角色验证 建立多重校验体系 [62] 行业发展路径 - 技术路线出现分化：严格SOP控制型 vs 全模型驱动型 [48][51][54] - 医疗等严肃领域必须采用SOP负责制 拒绝纯模型自主决策 [54] - 行业共识转向"安全是1 有效是0" 优先构建安全体系 [55][65][68]