预测式AI工具的应用与宣传 - EAB Navigate等AI工具声称能通过自动化预测提供宝贵洞察，帮助判断学生的学业成功潜力[1] - Upstart的AI贷款审批模型宣称比传统系统更精准，3/4的贷款决策无需人工干预[9] - HireVue的自动化招聘工具声称可预测候选人工作表现，并标榜为快速、公平、灵活[9] - 预测式AI在医院、雇主、保险公司等机构迅速普及，主要卖点是能重新利用已收集的行政管理数据实现自动化决策[9] 预测式AI的潜在风险与缺陷 - 基于历史数据的预测可能混淆相关性与因果关系，如肺炎预测模型错误得出哮喘患者风险较低的结论[12][13] - 模型训练数据可能无法反映真实目标，如Optum模型用医疗费用替代医疗需求预测，导致对黑人患者的种族偏见[29][30] - COMPAS系统使用逮捕记录而非犯罪记录预测再犯风险，可能放大执法体系中的种族歧视[31] - 模型在部署到新环境或面对策略性行为时性能可能下降，如招聘AI受简历格式、背景等无关因素影响评分[18][19] 自动化决策系统的实际失败案例 - 荷兰福利欺诈算法错误指控约3万名家长，使用国籍作为预测因素，导致政府内阁辞职并被罚款370万欧元[20][21] - 美国密歇根州算法错误收取2100万美元失业欺诈费用，澳大利亚"机器人债务丑闻"错误追讨7.21亿澳元[21] - 多伦多海滩水质预测工具在实际使用中64%的错误情况下未关闭海滩，人工监督形同虚设[22] - 美国联合健康集团的AI决策系统错误率超过90%，但员工被要求服从AI判断[23] 数据代表性不足导致的偏差 - ORAS系统仅基于俄亥俄州452名被告数据训练，却在全国推广使用[24] - PSA系统使用全美300个司法管辖区150万人数据，但在犯罪率低的库克县将大量被告错误标记为高风险[25][26] - 阿勒格尼县儿童虐待风险工具仅依赖公共福利数据，无法评估富裕家庭，不成比例针对贫困群体[26][27] 行业对预测式AI的过度依赖 - 开发者常采用"诱饵与调包"策略，宣传全面自动化优势，出现问题后强调需人工监督以规避责任[22] - 即使存在理论上的监督机制，因时间限制、专业不足或权限问题，实际监督往往不充分[23] - 人类固有的随机性焦虑驱使决策者接受有缺陷的预测系统，而非承认未来的不可预测性[35][36]

预测式AI的核心问题 - 预测式AI基于历史数据做出预测，但相关性不等于因果关系，可能导致灾难性决策，如医疗AI模型错误判断哮喘患者肺炎风险较低[18] - 系统无法预测自身决策对环境的改变，当部署到新场景时，历史数据的准确性无法保证决策质量[19][21] - 预测式AI的营销宣传常夸大效用，但实际开发依赖人类决策和带有偏见的数据，承诺的公平性和效率优势缺乏可靠证据[13][15] 预测式AI的应用缺陷 - 自动化招聘工具易被表面因素操控，如视频面试背景、简历格式或关键词填充，这些修改不影响实际工作能力却改变AI评分[24][25] - 刑事司法系统使用COMPAS等工具预测犯罪风险，但依赖逮捕记录而非犯罪记录，加剧种族偏见，黑人因相同行为比白人更易被标记高风险[42] - 医疗资源分配模型如Optum Impact Pro用医疗费用替代健康需求预测，使已获更好服务的群体持续获得资源，放大种族不平等[40][41] 数据与系统局限性 - 模型训练数据常与目标群体不匹配，如PSA系统基于全美数据但无法适应低犯罪率地区，导致高风险误判和不当监禁[33][34] - 儿童虐待预测工具仅覆盖使用公共服务的低收入家庭数据，无法评估富裕家庭，造成对弱势群体的过度聚焦[35][43] - 依赖现有数据而非专门收集新数据，如医疗领域缺乏随机对照试验验证，使决策可靠性存疑[20] 过度自动化与监管失效 - 荷兰福利欺诈算法错误指控3万名家长，使用国籍作为预测因素，缺乏申诉机制导致严重社会后果[28][29] - 系统声称有人工监督但实际未修正决策，如多伦多海滩水质预测工具64%的错误未纠正，联合健康集团员工被要求服从90%错误的AI决策[30][31] - 自动化偏见广泛存在，75%飞行员在模拟实验中因系统错误警报关闭正常引擎，显示过度依赖自动化风险[31] 行业影响与商业动机 - 预测式AI被医院、雇主、政府等广泛用于资源分配，但商业激励促使公司选择易于量化的替代指标（如医疗费用）而非真实目标[41] - 招聘领域约3/4美国雇主使用自动化筛选工具，过程不透明使候选人策略性修改申请材料，而非提升实际技能[24][26] - 企业对随机性的恐惧驱动预测式AI应用，试图在人才识别等不确定任务中强加模式，而非接受固有随机性可能带来更公平结果[48][51]

文章核心观点 - 当前“人工智能”一词被过度泛化使用，导致公众对不同AI技术（如生成式AI与预测式AI）的核心原理、应用场景和局限性产生混淆，进而引发过度宣传、恐慌和欺诈 [1] - 生成式AI技术发展迅速但产品仍不成熟，存在不可靠和易滥用问题，而预测式AI虽被广泛部署，但其预测未来和辅助决策的实际效果常被夸大，形成“AI万金油”现象 [2][3] - 本书旨在提供实用指南，帮助读者区分不同类型的AI，批判性评估技术进展，理解AI在实际应用（如教育、医疗、招聘、司法）中的问题与危害，并警惕大型科技公司的垄断风险 [4][8] AI技术分类与特点 - **生成式AI**：指如ChatGPT、Dall-E等能在几秒内根据提示生成文本、图像、语音或音乐内容的技术，但其作为产品仍处于初级阶段，存在不成熟、不可靠及易被滥用的问题 [2] - **预测式AI**：通过分析数据预测未来趋势以辅助决策，广泛应用于警务（预测犯罪）、库存管理（预测设备故障）和招聘（预测工作表现）等领域，但其预测能力常被过度宣传 [2] - **内容审核AI**：书中提及的第三类AI，但未展开详细说明 [8] AI行业现状与问题 - **过度宣传与混淆**：AI作为一个统称，涵盖了从聊天机器人到银行贷款评估软件等原理迥异的技术，这种词汇的泛化导致公众交流混乱，并被骗子利用制造欺诈和虚假宣传 [1] - **“AI万金油”现象**：指那些名声显赫但实际效果达不到宣传水平的AI技术，由于AI应用领域广泛，公众难以辨别其优劣 [3] - **预测式AI的局限性**：预测未来本身是艰难任务，AI仅能分析数据中的统计模式，但常被用于对人们生活和职业做出影响深远的决策，其实际效果存疑 [3] - **生成式AI的滥用风险**：包括深度伪造、欺诈和其他恶意滥用，其发展伴随着过度宣传、恐慌及误导性信息的传播 [2][12] AI的社会影响与风险 - **加剧社会不公**：预测式AI可能加剧现有的社会不平等，例如在刑事司法等领域 [11] - **大型科技公司垄断**：缺乏问责机制的情况下，大型科技公司垄断AI技术可能无法解决社会问题，反而加剧现有社会矛盾 [8] - **实际应用危害**：AI在教育、医疗、招聘、银行、保险和刑事司法等领域的应用已带来具体的问题与危害 [8] - **对人类行为的预测困境**：预测式AI可能永远无法准确预测人类行为，因为人类行为本身充满复杂性和局限性 [4] 书籍内容与目标 - **书籍目标**：提供必备词汇和评估方法，帮助读者区分各类AI，在阅读AI新闻时更具批判性思维，并为生活工作中使用（或不使用）AI提供指导 [4] - **内容范围**：深入剖析AI的运作原理及局限性，辨识AI何时带来真正价值、何时引发隐患，并警惕企业炒作不实用或无前景的AI产品 [7] - **作者背景**：作者为普林斯顿大学计算机科学教授及博士，具有学术和业界（如脸书内容审核AI开发）背景 [8] - **译者背景**：译者包括金融科技领域的专家及关注AI影响的青年学者 [9]