预测式AI工具的应用与宣传 - EAB Navigate等AI工具声称能通过自动化预测提供宝贵洞察，帮助判断学生的学业成功潜力[1] - Upstart的AI贷款审批模型宣称比传统系统更精准，3/4的贷款决策无需人工干预[9] - HireVue的自动化招聘工具声称可预测候选人工作表现，并标榜为快速、公平、灵活[9] - 预测式AI在医院、雇主、保险公司等机构迅速普及，主要卖点是能重新利用已收集的行政管理数据实现自动化决策[9] 预测式AI的潜在风险与缺陷 - 基于历史数据的预测可能混淆相关性与因果关系，如肺炎预测模型错误得出哮喘患者风险较低的结论[12][13] - 模型训练数据可能无法反映真实目标，如Optum模型用医疗费用替代医疗需求预测，导致对黑人患者的种族偏见[29][30] - COMPAS系统使用逮捕记录而非犯罪记录预测再犯风险，可能放大执法体系中的种族歧视[31] - 模型在部署到新环境或面对策略性行为时性能可能下降，如招聘AI受简历格式、背景等无关因素影响评分[18][19] 自动化决策系统的实际失败案例 - 荷兰福利欺诈算法错误指控约3万名家长，使用国籍作为预测因素，导致政府内阁辞职并被罚款370万欧元[20][21] - 美国密歇根州算法错误收取2100万美元失业欺诈费用，澳大利亚"机器人债务丑闻"错误追讨7.21亿澳元[21] - 多伦多海滩水质预测工具在实际使用中64%的错误情况下未关闭海滩，人工监督形同虚设[22] - 美国联合健康集团的AI决策系统错误率超过90%，但员工被要求服从AI判断[23] 数据代表性不足导致的偏差 - ORAS系统仅基于俄亥俄州452名被告数据训练，却在全国推广使用[24] - PSA系统使用全美300个司法管辖区150万人数据，但在犯罪率低的库克县将大量被告错误标记为高风险[25][26] - 阿勒格尼县儿童虐待风险工具仅依赖公共福利数据，无法评估富裕家庭，不成比例针对贫困群体[26][27] 行业对预测式AI的过度依赖 - 开发者常采用"诱饵与调包"策略，宣传全面自动化优势，出现问题后强调需人工监督以规避责任[22] - 即使存在理论上的监督机制，因时间限制、专业不足或权限问题，实际监督往往不充分[23] - 人类固有的随机性焦虑驱使决策者接受有缺陷的预测系统，而非承认未来的不可预测性[35][36]