文章核心观点 - 资深医生张文宏认为，AI在医疗等高风险领域的应用，其带来的最大变化并非效率提升，而是可能改写专业人员的训练路径和能力形成方式，因此必须审慎划定边界，确保人类监督和责任可追溯[1][3] - 行业围绕AI部署存在三种主要立场：守门（高风险入口前置治理）、治理（建立可审计的风险管理闭环）和能力（在发展中建立规则），其分歧本质在于系统默认值是“AI正确”还是“AI仅为候选”[5][6] - AI能否被负责任地接受，关键在于将风险管控写入系统默认值，通过明确角色、建立错误发现与回放机制、落实责任闭环及监测人的能力变化，将AI用作增强而非替代人类判断力的训练装置[7][9] AI在高风险行业的应用边界与原则 - 在医疗领域，AI可作为个人辅助工具，但不允许直接接入病历系统等核心责任链条，以确保最终判断和责任归于人类专业经验[1] - 划定边界需明确哪些环节必须由人决策，AI仅能作为候选、提示或预审工具，防止AI参与责任分配导致责任稀释[4] - 社会接受AI的前提是防止过度使用，将风险管控在可控范围内，这需要工程化的解决方案而非道德口号[4] AI对专业训练路径与能力形成的潜在影响 - 核心担忧在于AI过早进入一线可能改写医生的成长方式，新人若将AI作为默认答案生成器，可能导致其出现“能做但说不清原因、对答案但不理解边界”的能力退化[3] - 工具越强大，人越容易跳过艰难但必要的内化过程，这可能导致一代人能力形成方式的根本性改变[3] - 一项关于知识工作者的研究显示，对AI越有信心，个体越可能减少批判性思考；而对自身能力更自信者，则更倾向于进行批判性评估与整合[9] 构建可靠AI治理体系的关键要素 - 纠错机制：高风险行业最危险的是“看起来像对”的错误，系统必须建立复核、抽检、回放与反例库，以持续发现和定位错误，而非依赖资深个人兜底[4] - 责任闭环：必须明确谁启用、谁审批、谁签字、谁对输出负责，确保责任可追溯、可问责，防止责任被稀释归因于“系统建议”[4][7] - 治理框架：可参考如美国NIST的AI风险管理框架（AIRMF1.0），将可信AI拆分为治理、映射、度量、管理等可落地环节，实现可审计的风险控制闭环[5] 将AI转化为训练装置的可执行路径 - 可采用“AI作为第一读者，而非最终裁判”的方法，例如让AI先看病例，但最终由人做判断[1][9] - 具体路径包括：先自行完成推理链，再让AI挑错；让AI生成相互冲突的路径由人裁决并解释；用AI进行交叉质询，追问依据与边界条件，使人始终处于“解释与审查”的位置[9] - 行业应监测如复核率、纠错率、独立完成率、异常处置时长等反映人的能力变化的指标，并将其视为与模型指标同等重要的治理指标[7] 行业部署AI的三种主要立场与分歧 - 守门立场：以世界卫生组织在医疗AI治理中的原则为例，强调高风险场景必须将安全与治理前置，先守住入口再谈规模化[5] - 治理立场：侧重于将风险转化为流程和指标，建立可落地的风险管理结构，确保AI应用进入可审计的闭环[5] - 能力立场：如企业界代表所表达，承认AI的竞争性与不可逆，主张尽快应用但同时必须建立规则，例如需要设立AI“裁判/监管者”以避免失控[5] - 三种立场的根本分歧在于系统默认值的设定：是默认AI正确，还是默认AI仅为候选[6]