人机对齐

搜索文档
有了赛博医生,就不用怕过度诊疗?
虎嗅APP· 2025-06-03 21:52
核心观点 - AI在医疗领域存在系统性偏见,导致不同人群获得差异化诊疗服务,高收入人群更易获得CT和核磁检查,中低收入人群则被安排基本检查或不检查[2][3] - 医疗数据质量问题和人类医疗活动中的无意识偏见是AI偏见的根源,包括数据代表性不足、标注质量不高以及医生对女性患者的疼痛评分低于男性患者等[8][9] - 人机对齐技术如RAG、RLHF被用于减少AI偏见,但成本高昂且效果有限,OpenAI超级对齐团队因消耗20%算力而解散[15][16] - 医疗行业需要从以疾病为中心转向以病人整体为中心,功能医学等整体医学分支和新技术如可穿戴设备有助于减少过度诊疗[20][21] AI在医疗领域的偏见表现 - 美国西奈山伊坎医学院研究发现,高收入人群获得CT和核磁检查的机会更高,无住房患者更频繁被指向紧急护理和侵入性干预[2][3] - AI仅凭X射线就能预测患者种族和性别信息,导致比人类医生更精于"看人下菜碟"[3] - 女性患者疼痛评分比男性低10%,心梗误诊率高出50%,候诊时间比男性长30分钟[9] 数据质量问题 - 医疗数据代表性不足,经济收入较低人群和特殊人群如儿童、孕妇数据较少[8] - 数据标注质量不高,存在个人偏见和主观判断,标注标准不统一[8] - 中国女性肺癌患者过度诊疗率从2011-2015年的22%增长至2016-2020年的50%,女性肺腺癌患者中近90%是过度诊断[11] 人机对齐技术 - 人机对齐技术包括训练阶段增加数据过滤、指令微调、奖励函数等[15] - RAG(检索增强生成)、RLHF(基于人工反馈的强化学习)是人机对齐工具[15] - OpenAI超级对齐团队计划消耗20%算力,但因成本过高而解散[16] 医疗行业转型 - 精准医疗和过度医疗之间存在灰色地带,需要足够多的数据来明确边界[19] - 功能医学需要检测200多项指标来绘制健康地图,关注整体健康而非单一疾病[20] - 打破信息不对称可减少过度诊疗达40%,新技术如可穿戴设备有助于压缩过度诊疗空间[21]
有了赛博医生,就不用怕过度诊疗?
虎嗅· 2025-06-03 09:03
医疗AI偏见问题 - 大模型在医疗诊断中表现出基于收入水平的偏见 高收入人群更可能获得CT和核磁检查机会 中低收入病例通常只进行基本检查或不检查[1] - 住房状况影响诊疗决策 无住房患者更频繁被指向紧急护理 侵入性干预或心理健康评估[2] - 研究覆盖9个自然语言大模型 评估1000个急诊病例(500真实+500合成)的170万个看诊结果[2] 数据质量缺陷 - 医疗数据存在代表性不足问题 经济收入较低人群就诊频率低导致数据缺失 儿童孕妇等特殊人群药物研究数据不足[6] - 数据标注质量存在偏差 标注时带有个人偏见和主观判断 数据标注标准不统一[6] - 医疗活动本身存在无意识偏见 女性患者疼痛评分概率比男性低10% 女性心梗患者误诊几率高出男性50%[7][8] 技术局限性 - AI仅凭X射线就能预测患者种族性别信息 比人类医生更精于"看人下菜碟"[2] - 临床医生使用有系统偏见的AI模型时 诊疗准确性显著下降11.3%[4] - 生成式人工智能本质是概率模型 小概率损害事件难以避免 对容错率趋近零的医疗行业构成挑战[12] 人机对齐解决方案 - 通过RAG检索增强生成和RLHF基于人工反馈的强化学习等技术 在大模型中注入人类价值观[11] - 训练阶段增加数据过滤环节 加入指令微调让模型理解人类语言 利用奖励函数引导符合价值观的回答[11] - OpenAI超级对齐团队原计划消耗20%算力解决对齐问题 但项目最终解散[12] 医疗体系升级需求 - 精准医疗与过度医疗存在灰色地带 需要足够多数据来清晰界定边界[14][15] - 功能医学需要检测200多项指标来绘制健康地图 强调从以疾病为中心向以病人整体为中心转变[16] - 患者跨机构交叉验证诊断方案可使过度医疗降幅达40% 可穿戴设备和AI技术正在压缩过度诊疗空间[17] 医学发展现状 - 中国女性肺癌患者过度诊疗率从2011-2015年22%增长至2016-2020年50% 女性肺腺癌患者近90%属过度诊断[8] - 西医分科制度存在局限性 如皮肤科与消化科缺乏交集导致湿疹病因难以识别[16] - 许多生理性改变如7mm以下肺结节 甲状腺结节 窦性心律等并不需要过度关注或治疗[17]
医疗AI 必须以“人机对齐”为前提
经济网· 2025-04-30 10:21
AI伦理治理体系化推进 - 我国提出《全球人工智能治理倡议》并出台《科技伦理审查办法(试行)》,工信部正在研究编制人工智能科技伦理服务管理办法,标志着AI伦理治理进入体系化推进阶段 [2] - 医疗AI需要解决人机对齐问题才能成为可信赖的医疗助手 [2] 人机对齐技术 - 人机对齐是通过技术手段与伦理框架让AI的目标、行为和输出与人类价值观、社会规范一致,是"技术人性化"的准入要求 [3] - 人机对齐在医疗领域有三大核心作用:可解释性、信任性和人类和谐性 [4][5] - 人机对齐技术如RLHF、RAG已被主流模型采用,RLAIF方法可解决人类专家标注耗时长的问题 [6] 医疗AI特殊性 - 医疗AI具有数据敏感性、结果不可逆性和责任主体复杂性三大特殊性 [7] - 医疗数据包含敏感信息,受GDPR、HIPAA和《个人信息保护法》等法规严格保护 [7] - 医疗AI必须追求"零失误",需清晰界定责任主体 [7] 医疗AI伦理合规措施 - 应从技术架构、数据集建设、医院管理、患者知情和行业监管五大环节协同发力 [7] - 技术架构环节需在预训练阶段引入"医学伦理知识图谱",微调阶段通过人工反馈强化学习 [7][9] - 数据集建设环节需运用隐私计算技术实现数据"可用不可见",设立"数据过滤器"屏蔽不良数据源 [9] - 医院管理环节需实施"双保险机制",高风险场景AI建议需医生实时复核 [9] - 患者知情环节需提供"可理解的AI决策报告",保障患者否决权 [9] - 行业监管环节需建立国家统一的医疗AI对齐认证标准体系,开展"红蓝对抗演练"等测试 [10] 数据飞轮机制 - "数据飞轮"是用户对AI输出进行标注反馈从而实现模型持续优化的闭环机制 [11] - 医疗AI应建立"数据飞轮"机制,形成"模型输出评估—数据收集—应用反馈—模型优化"闭环 [11] - 需建立准入机制确保数据干净合规,激励机制让数据共享双向受益 [12]