文章核心观点 - AI最危险之处在于其产出“错得太像对了”，这导致用户难以确认其正确性，而验证其正确性的能力变得稀缺 [2][6][14] - AI的本质是模仿和概率统计，缺乏真正的理解、动机和判断力，其输出内容可能逻辑不通或仅是训练数据的复述 [9][10][13][21] - 解决之道在于“信任，但必须验证”，应将AI作为需要严格验收的批量处理和辅助工具，而非最终决策者 [30][33][36] 模仿：AI在复制思维的外壳 - AI能生成格式完整、术语齐全、语气笃定的推理内容，但其根本不知道自己在做什么 [7][8] - AI的输出是基于海量语料统计概率的接续，而非逻辑推导，这导致其可能输出逻辑不通的内容 [9][13] - AI存在“数据污染”问题，可能只是在复述训练时见过的教科书定理或例题，而非进行思考 [10] - 模型表达越自然，人类越容易下意识相信其正确性，而忽略检查每一步推理，一旦一环出错则全盘崩塌 [13][14] 动机：AI说不清为什么这么做 - AI缺乏对问题本身的理解和价值判断，不知道哪些问题值得解决或为什么重要 [15][16][17] - AI不具备人类的基本直觉，其选择使用某个定理是因为在训练中见过，而非理解其关键作用 [11][12][17] - AI能帮助回忆已知信息，但无法提出新的、有价值的问题，而数学等领域的突破往往源于提出新问题 [18][19][20] - AI的本质决定了它不知道“该做什么”，而不仅仅是“不会做” [21][22] 验证：AI写的东西过不了检查 - AI生成的结论缺乏清晰、可追溯的推导过程，难以被检查、追溯和验证 [24][25][26] - 此问题不限于数学，广泛存在于法律、编程、金融等领域，例如：律师因使用AI生成不存在的判例而被罚款；程序员使用含安全漏洞的AI代码造成损失；金融分析师使用逻辑不清的AI报告 [29] - 核心原则是“只在你能验证的范围内使用AI”，必须将AI生成与人类或自动验证系统的检查配对使用 [30][31] - AI的正确用法是让其提供线索、找出可能性，然后由人类进行判断、验证和决策 [33] AI的正确价值与应用场景 - AI的真正价值在于批量处理海量中等难度、有价值但人类专家无暇顾及的问题，例如解决100万个问题中的10%即10万个问题 [32] - 在日常研究中，AI可作为辅助工具，例如进行文献综述，提醒研究者可能遗忘的方法，但需注意其可能“幻觉”出不存在的内容 [32] - AI可用于从数据中发现隐藏规律，为人类研究提供线索，例如在纽结理论中，神经网络帮助研究者从20个输入中识别出3个关键变量，从而反推出数学关系并完成证明 [33] - AI适合充当批量处理工具和辅助工具，前提是有人能验收其生成内容，确认可用性 [34][35]