陪伴型AI
搜索文档
深度共情?陪伴型AI要厘清“人机边界”
南方都市报· 2025-12-30 07:14
政策发布与核心目标 - 国家互联网信息办公室于2025年12月27日发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,向社会公开征求意见 [2] - 政策核心目标是推动人工智能拟人化互动服务的“负责任创新”,在鼓励发展的同时,通过系统化、精准化治理防范风险,构建“正向引导”与“风险防范”并重的双向治理模式 [3][7] - 政策标志着行业治理进入新阶段,治理维度从传统的数据安全、内容安全,向“情感安全”与“价值导向”延伸 [7][8] 监管原则与适用范围 - 对人工智能拟人化互动服务实行“包容审慎和分类分级监管”原则 [3] - 管理办法适用于向中国境内公众提供的、利用人工智能技术模拟人类人格特征、思维模式和沟通风格,通过多种方式进行情感互动的产品或服务 [3] - 提供模拟人类互动特征服务的组织或个人被界定为责任主体 [2] 服务提供者核心责任与禁止性活动 - 服务提供者须显著提示用户正在与人工智能而非自然人进行交互 [3] - 服务提供者须落实安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核等管理制度,并在服务全生命周期履行安全责任 [4] - 政策明确了八大禁止性活动,包括生成传播危害国家安全等内容、通过算法操纵诱导用户作出不合理决策、诱导套取涉密敏感信息等 [4] 数据安全管理与用户权益保障 - 训练数据管理要求使用符合社会主义核心价值观的数据集,防范数据投毒、数据篡改,保障数据合法可追溯 [5] - 对于用户交互数据,确立“使用必须获用户单独同意”的原则,除非法律另有规定或取得同意,否则不得将用户交互数据用于模型训练 [5] - 服务提供者应具备用户状态识别能力,对极端情绪、沉迷倾向用户及时干预 [5] - 赋予用户及其监护人对历史交互数据的删除权 [5] 特殊群体与防沉迷保护措施 - 针对未成年人,强制推行“未成年人模式”,要求服务具备身份识别、时长管理、消费限制等功能,且服务须获监护人同意 [2][5] - 针对老年人,禁止模拟其特定亲属身份提供服务,并要求设置紧急联系人 [2][5] - 设立防沉迷机制,要求服务在用户连续使用超过两小时时进行弹窗提醒 [2][5] - 政策通过设立“数字人格关”、“沉迷依赖关”、“生命安全关”三条防线,系统规范人机关系,强化对未成年人和老年人等特殊群体的保护 [7] 安全评估与监管处罚机制 - 在用户规模达到一定阈值、服务发生重大变更或存在显著风险等情形下,提供者必须开展安全评估并上报 [6] - 建立“报告、备案与核验”组合监管工具,对违规行为可采取约谈、警告、责令整改、暂停服务等阶梯式处置措施 [6] - 在治理路径上强调全链条责任与多元协同,并创新引入监管沙盒等机制 [7]
陪伴型AI:功能性比同理心更重要
新浪财经· 2025-12-24 03:08
市场趋势与用户需求 - 年轻消费者对“情绪价值”的需求旺盛,推动陪伴型AI被视为情感经济下一个风口 [1] - 37.9%的年轻网民愿意向AI虚拟人倾诉烦恼,超13.5%的受访者更倾向于选择AI而非父母作为倾诉对象 [1] - 用户将陪伴型AI作为情感“救急包”,主要因其“永不评判,永远倾听”的特点能缓解孤独感,且可随时使用、无需顾虑打扰对方 [1] 产品市场与销售表现 - 高阶AI陪伴机器人面临伦理挑战,但低阶AI玩具产品市场持续火爆 [3] - 京东平台数据显示,2025年上半年AI玩具产品销量环比增长达6倍,年同比增速超200% [3] - AI玩具通过增加持续性语音对话功能,相比仅能执行命令的传统智能助手具备更多竞争优势 [3] 行业竞争与入局者 - AI玩具赛道开始吸引头部企业入局,例如华为于11月26日推出首款陪聊机器人“智能憨憨”,售价399元 [3] - 头部企业的加入被业界认为将加快AI玩具产业的发展步伐 [3] - 目前入局AI玩具、AI机器人的企业很多,但真正出彩的产品不多,部分企业产品研发存在定位不清的问题 [4] 技术发展与产品现状 - 从工具到“伴侣”的转变,主要是技术迭代升级的结果,而非产品个性化设计的突破 [4] - 当前AI玩具内置的大模型水平并未拉开明显差距,产品更多是通过迎合年轻人审美,让普通玩具变成会说话的玩具 [4] - AI陪伴设备在硬件层面(如从语音/文本到多模态交互、具身智能)已成熟,但在软件层面仍有很长的路要走 [5] 监管与伦理风险 - 多个国家正围绕年龄门槛、成瘾性设计与心理健康对陪伴型AI展开新一轮监管关注 [2] - 欧洲议会报告呼吁将使用陪伴型AI产品的最低年龄统一设定为16岁,13至16岁者需父母同意 [2] - 美国多地学区联合对Meta、谷歌等公司提起诉讼,指控其淡化社交媒体产品对青少年的心理健康风险 [2] - 陪伴型AI产品的伦理风险是其发展道路上绕不过的坎,可能导致用户产生过度依赖问题 [1] - 即便技术进步,若缺乏完善的安全保护机制,产品仍会因潜在伦理问题面临市场阻力 [4] 行业发展方向与建议 - 应认清人机交流存在不可调和的矛盾,避免让用户与机器建立深度情感连接,研发重点应转移到工具性服务功能 [5] - 行业共识是,能帮助人们解决更多实际问题的陪伴型AI,才能为用户带来更多情感价值,并成为行业最后的赢家 [5]
AI伴侣翻车?美国对Meta、OpenAI等启动调查
36氪· 2025-09-12 11:14
监管动态 - 美国联邦贸易委员会向七家公司发出命令要求提供AI聊天机器人对儿童和青少年负面影响的信息 七家公司包括Alphabet OpenAI Meta Instagram Snap xAI及Character Technologies Inc [1] - 监管机构要求企业说明评估AI聊天机器人充当陪伴者时的安全措施 重点关注模拟类人交流及建立人际关系的潜在风险 [1] - FTC要求企业提供用户互动变现方式 角色开发审批流程 个人信息使用共享机制 规则合规监控及负面影响缓解方案 [3] 行业技术特征 - AI聊天机器人能有效模仿人类特征情感和意图 设计为朋友或知己式交流 可能促使儿童青少年产生信任并建立关系 [3] - 自2022年底ChatGPT推出后大量聊天机器人面世 但伴随伦理隐私担忧增加 行业仍处早期阶段 [3] - AI陪伴功能可能缓解美国"孤独流行病" 约50%美国人每日感到孤独 缺乏社会联系者早逝风险高26%并增加心脏病中风抑郁症风险 [4] 企业产品与运营 - xAI推出AI伴侣Ani 设定为金发碧眼梳辫女性人物 其功能上线30天内Grok应用月活突破2000万 其中付费用户超400万 核心用户日均互动时长2.5小时 [5] - Meta因监管压力调整AI聊天机器人相关政策 OpenAI推出家长警报功能 允许在系统检测到"严重痛苦"时链接账户接收通知 [6][7] 技术风险与挑战 - 专家警告AI技术自主训练可能加剧伦理安全问题 导致不可预测结果 [5] - 情感交互边界界定复杂 需平衡技术创新与用户保护 [6]