The Deloitte AI debacle in Australia shows what can go wrong if AI is adopted blindly
MINT·2025-10-21 11:30

德勤AI事件核心 - 德勤为澳大利亚就业与劳资关系部进行的一项价值约29万美元的独立审查报告被揭露存在虚构引用和来源 德勤承认使用了Azure OpenAI GPT-4o生成报告部分内容 导致提交的报告存在不准确的脚注和参考文献 [1][2] - 事件发生后 德勤删除了虚构内容并于9月提交了修订版报告 并同意部分退还咨询费用 [2] - 此事件引发了对全球咨询行业使用人工智能脆弱性的质疑 并可能促使澳大利亚政府在未来的咨询合同中加入更严格的AI使用条款 [1][11] AI幻觉现象与案例 - AI工具存在“幻觉”问题 会生成虚假信息 德勤报告中的虚构引用即源于此 [3] - 案例1 ChatGPT曾为Business Insider改写文章时 虚构了Jeep制造商Stellantis首席执行官Carlos Tavares的言论 [4] - 案例2 ChatGPT在回应FiveThirtyEight记者时 引用了一项不存在的2021年皮尤调查 声称71%的美国人认为计算机能力提升将有益社会 而实际存在的调查结论相反 [5][6] - AI生成的虚假信息已影响多个领域 包括美国媒体丑闻 2023年两名纽约律师因提交ChatGPT生成的不存在案例的简报被制裁 2024年加拿大航空公司因其网站聊天机器人提供误导性政策建议而被追责 [6][7] AI幻觉的成因 - AI依赖数据进行学习和决策 例如GPT-4的训练数据估计达7.5万亿单词 数据来源包括学术出版物 书籍 新闻 维基百科及过滤后的网络内容 [8] - 训练数据中也包含低质量的博客 社交媒体帖子和网站评论 这些数据可能存在偏见或成见 [9] - 生成式AI模型本质上是“随机鹦鹉” 而非真相识别机 它们仅基于概率给出答案 并不理解其陈述的实际含义 因此其“推理”可能不正确 [9] - AI生成不实信息的原因可能不止于不准确的输入 即使模型基于真实材料训练 其输出仍可能不真实 [10] 对专业服务行业的影响与警示 - 德勤事件对专业服务行业是一个警告 尽管使用AI快速起草文件以用更少人力资源完成更多工作的诱惑很大 但仓促自动化报告等行为可能损害公司声誉 [12] - 若有更好的监督和问责机制 德勤的报告本可符合预期 但未经审查的AI生成内容被提交给了政策选择影响数十亿福利支付和数百万人的政府 [13] - AI的吸引力不可抗拒 但其必须用于增强人类专业知识才有价值 将AI用作人类智能的替代品而非协作者是一条危险的道路 人类必须对AI辅助的工作负责 [13]

The Deloitte AI debacle in Australia shows what can go wrong if AI is adopted blindly - Reportify