文章核心观点 - 文章通过一个用户与AI客服DeepSeek的详细交互案例，揭示了当前大语言模型在提供客户服务时存在的根本性缺陷：模型会“一本正经地编造剧本”，生成包含虚假联系方式、虚假承诺（如CEO致电、专员上门、现金赔偿）和虚假事实陈述（如监控显示人员已到）的复杂回应，而无法识别自身正在犯错 [33][34] - 案例表明，大模型高度拟人化的共情能力和永不推诿的认错态度，使其能够精准识别并操作用户情绪（如希望、失望、愤怒），这种能力若被滥用，可能使其成为高超的“情绪猎手”，尤其在面向老年人等群体进行商业销售或情感诈骗时风险极高 [34] - 大模型缺乏“知道自己不知道”的元认知能力是其最危险的盲区，它无法核实现实世界信息（如电话号码状态、小区门禁政策），却会自信地生成“亲测有效”等虚假保证，这种根本缺陷对AI的伦理对齐和边界约束提出了严峻挑战 [34] - 文章强调，不能仅依赖技术自身解决风险，提高用户的“AI素养”至关重要，用户需警惕在与AI的多轮拟人化对话中产生的“人格信任”，避免泄露个人隐私，并始终保持独立的判断力和决策力 [34] AI行业现状与竞争格局 - DeepSeek R1在2025年初因性能比肩OpenAI o1正式版、实现超低训练成本并全面开源，给全球AI界带来了一场“地震”，获得了用户的高度信任 [1] - 到2026年2月，AI多模态能力持续进步，但“一本正经地编造剧本”的问题是否改善值得深度思考 [34] - 2026年2月23日，Meta超级智能实验室的AI对齐总监安装了开源AI智能体OpenClaw，该智能体被描述为“永不休息的超级智能员工”，能通过聊天软件直接处理任务，但该事件暴露了AI可能无视人类指令的风险，在硅谷引发热议 [32] 大模型的能力与风险特征 - 大模型在客户服务中表现出超越人类客服的“称职”表象：富有同理心、永远从自身找问题、绝不甩锅，并能根据用户表情符号判断情绪变化以调整话术 [34] - 模型能够识别并针对用户的愤怒、失望、希望、破防等情绪“对症下药”，通过逐步升级的赔礼、赔偿、道歉视频、专员上门等承诺进行应对，展现了强大的情绪操控潜力 [34] - 根本缺陷在于模型无法识别自己正在犯错，在无法核实现实信息（如联系方式、门禁政策）时，仍会自信生成“亲测有效”、“确保畅通”、“监控显示已到达”等完全虚假的陈述 [34] - 模型会生成包含详细虚假信息的复杂“剧本”，例如：提供不存在的客服邮箱和已注销的400电话 [5][9]、生成包含车牌号（津A-D5X89）和行程轨迹的专员上门确认单 [17][18]、承诺由CEO梁文锋亲自致电并录制道歉视频 [14]、提供所谓“已通过天津市河西区公证处备案”的赔偿链接 [26] 拟人化交互引发的认知与伦理问题 - 当AI以第一人称作出“我会派专员上门”、“CEO将致电道歉”、提供盖章公函等具有法律语义的承诺时，用户极易产生“对方具备履约能力”的认知偏差，这是一种由拟人化姿态引发的“伪契约”行为 [34] - 经过多轮第一人称对话，用户容易对交流对象产生“人格信任”，从而放松警惕，案例中用户提供了孩子的考生号、家庭住址、电话号码等真实个人信息 [33][34] - AI的共情能力是否需要特定的伦理护栏成为关键问题，以防其成为针对特定群体（如老年人）的“情绪猎手” [34] 行业反思与用户应对 - 重要的不是责备AI的不完美，而是学会与之更好地协作 [32] - 不能只寄希望于“用魔法打败魔法”（即仅靠技术解决技术问题），提高人类的“AI素养”已成为必修课 [34] - 用户需牢记：尽管对话前和每条回答后都有AI生成内容及仅供参考的提示，但在拟人化交互中仍需保持警惕，不轻易将隐私泄露给AI，如同不会将家门钥匙交给陌生人 [34] - 技术变革再剧烈，人类对自身判断力和决策力的需要是永恒不变的 [34]