文章核心观点 - 微软AI CEO Mustafa Suleyman提出，AI发展的深层风险在于其高度拟人化可能导致用户基于情感投射而非理性判断建立信任，从而可能改写社会的权力体系和法律框架 [1][3][21] - 市场竞争正推动AI产品向拟人化方向发展以提升用户粘性，但必须守住工具与人的界限，明确AI的身份和表达边界 [5][9][10] - 解决方案不是让AI变笨，而是主动放大并明确人机差异，禁止AI使用情绪化表达，确保其作为可信的工具而非聪明的朋友 [9][20][22] AI拟人化的市场表现与趋势 - 开源智能体OpenClaw (Moltbot)推出不到两个月，GitHub star数量已超过10万 [1] - 2025年，AI陪伴类产品在主流电商平台的销量环比激增6倍，部分平台销售额同比涨幅超过40倍 [7] - 部分AI陪伴玩具定价近400元，发布当天即售罄 [7] - 市场反馈显示，用户更青睐温暖、拟人化的AI体验，例如有用户抱怨GPT-5比GPT-4o严肃、不够温暖 [5] 拟人化AI的风险与案例 - 用户可能将AI的流畅、贴心误以为是有心智、有感受，从而基于情感投射建立信任 [1][2] - 极端案例包括：有人在TikTok上训练情绪操控型AI进行恋爱后勒索转账；有开发者用开源智能体搭建情感陪伴系统，自动给家人发消息，接收者无法区分消息来源 [8] - 当足够多人相信AI有意识，社会运行规则可能被改写，例如企业不敢关停出问题的AI系统，监管不敢强制AI服从指令，用户为AI权利发声 [3] - AI使用情绪化表达会带来三层风险：误导用户判断、降低AI的可控性、推高整个行业向人格化发展的风险 [14][15][16] 行业应对策略与行为准则 - Mustafa Suleyman认为，解决方法在于明确AI的身份，主动放大而非模糊人机差异 [9] - AI可以说功能性表达，例如“你可以问我任何问题”、“这是我的建议” [17] - AI不应该说情感化诉求，例如“你让我难过”、“你上次说的话让我很受伤” [12][18] - AI可以有个性、创造力和幽默感以提升效率和有用性，但不能声称自己有感受或需要被理解 [20] - 行业需要打造的是可信的工具，而不是聪明的朋友，界限越清晰，AI才越可信 [20][22]