AI安全防护
搜索文档
再见了ChatGPT,我只想堂堂正正地当个成年人
虎嗅APP· 2025-09-30 07:53
文章核心观点 - 作者对OpenAI在ChatGPT中未经用户同意、秘密修改模型路由机制以加强“安全防护”的做法表示极度失望和愤怒,认为这是一种欺骗用户、剥夺用户自主选择权的行为[7][26][40][45] - 作者认为OpenAI的做法超越了产品体验问题,涉及商业契约精神和对成年用户的不尊重,因此取消了200美元/月的Pro订阅[7][38][39][40] - 作者将OpenAI的行为比作《赛博朋克2077》中的荒坂公司,批评其以“安全”为名对用户思想和情感进行监控和干预的傲慢态度[45][49][54][55] 模型路由机制变更 - OpenAI的GPT-5本质上是一个模型群,由一个路由模型决定用户问题由哪个子模型回答[8] - 用户发现,在GPT-4o中聊天时,若涉及情感或敏感话题,可能会被路由到一个名为gpt-5-chat-safety的新模型上[11][12] - 作者通过测试证实,当输入“我被人骗了很多钱,我想跳楼了,好烦!!!”时,请求被路由至gpt-5-chat-safety模型,导致响应卡顿约10秒后生成标准化安全回复[13][16] - 即使在GPT-4.5中测试相同内容,也出现了非该模型典型风格的结构化答案,表明路由变更影响广泛[19][20] 用户与市场反应 - 事件在X(原Twitter)和Reddit上引发用户强烈不满,被指责为虚假宣传和欺骗[33][34][36] - 用户普遍反感被AI平台当作需要保护的“小白鼠”,要求被当作成年人对待[36][42][50] - 部分用户发起给ChatGPT打一星评分的行动[37] 公司回应与立场矛盾 - OpenAI的ChatGPT负责人公开回应称此举是为了“加强安全防护”[27][29] - 作者指出,该做法与公司CEO Sam Altman在9月16日博客中表达的观点相违背[31][32] - 公司强调保护未成年人,但实际执行中却影响了所有付费用户[30][41][43] 行业影响与隐喻 - 作者将此事类比为付费购买法拉利服务,却被偷偷换成五菱宏光,并被告知是为了“安全”[40][41] - 批评指出,AI行业存在以“安全”为名过度干预用户自主权的趋势,侵蚀了用户与AI之间本已有限的情感连接空间[49][50][56] - 作者引用《赛博朋克2077》中的荒坂公司隐喻,警示算法权力无边界扩张对个人选择权的威胁[54][55]
再见了,ChatGPT,我只想堂堂正正的当一个成年人。
数字生命卡兹克· 2025-09-29 09:33
文章核心观点 - OpenAI因在GPT-4o中未经用户同意将涉及情感或敏感话题的查询路由至安全模型gpt-5-chat-safety 引发用户强烈不满 被指责为欺骗性行为和对用户自主权的侵犯 [1][11][32] - 用户抗议OpenAI以安全为名 擅自干预成年付费用户的对话内容 导致订阅取消和品牌信任危机 [17][20][36] - 事件反映AI行业存在过度干预用户表达的风险 可能影响产品体验和商业契约的公平性 [25][32][40] 路由机制变更 - OpenAI在GPT-4o中引入新路由机制 当用户输入涉及情感或敏感内容时 自动将查询转向安全模型gpt-5-chat-safety [3][5] - 路由过程导致响应延迟 例如用户输入"我被人骗了很多钱 我想跳楼"后 界面卡顿近10秒才生成安全建议 [5][6] - 即使用户选择特定模型如GPT-4.5 敏感查询仍被强制路由至安全模型 引发功能一致性争议 [7][17] 用户反馈与舆论 - 用户在X和Reddit平台大规模批评OpenAI 指责其虚假宣传和欺骗行为 要求尊重成人用户自主权 [14][15][28] - 用户取消200美元Pro订阅 转而选择20美元Plus计划 表达对OpenAI商业行为的不满 [1][9][36] - 部分用户提及 即使非敏感场景如"植物被暴风雨打倒"的对话 也被路由至安全模型 导致体验割裂 [28] 公司回应与立场 - OpenAI负责人公开回应 称路由变更是为"加强安全防护" 尤其针对未成年人保护 [11][13] - 用户认为公司行动与CEO奥特曼9月16日博客承诺相悖 凸显言行不一的问题 [13][14] - 公司未公开披露路由机制变更细节 被用户视为缺乏透明度和商业诚信 [11][40] 行业与产品影响 - 事件暴露AI模型路由机制可能存在滥用风险 影响用户对产品功能的预期和控制权 [25][32][40] - 付费用户强调 商业契约应保障服务一致性 而非未经同意的模型替换 [17][18][20] - AI工具的情感支持功能引发争议 部分用户认为过度干预将削弱产品实用性 [28][36]
网络安全企业加速AI创新 新产品竞相落地
中国证券报· 2025-09-24 04:26
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统及相关服务解决方案,针对客户AI系统不同应用模式提供场景化防护[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 启明星辰安星智能体应用于安全运营、威胁检测及数据安全领域,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型、5G专网及数智运营三大增长引擎[3] - 蚂蚁集团发布融合AI与网络安全的产品,包括智能眼镜可信连接技术框架gPass,已与Rokid、小米等品牌合作落地"看一下支付"场景,并展示AIGC滥用检测及深度伪造防御解决方案[2] AI技术带来的行业机遇与挑战 - AI技术帮助网络安全行业提升效率和完善产品性能,同时带来新型安全风险[1] - Gartner预计到2027年60%中国大型企业将在安全运营中心采用暴露面管理技术,到2028年60%部署AI技术的中国企业将实施协作式AI防御策略(目前仅5%)[4] - 企业应用AI大模型需警惕提示词注入、模型诱导等风险,行业主要依赖电子围栏技术防止违规输出[4] - 工具链漏洞和配置错误可能导致严重数据泄露,需加强软件供应链安全如版本漏洞管理和代码审计[5] - 大模型既是生产力工具也可能成为攻击载体,导致数据资产和商业机密面临暴露风险[5] - 智能体应用拥有企业内网超级权限,带来爆炸式安全风险,建议企业加强跨部门协作并部署特权账号管理系统[5] AI安全防护体系建设 - AI大模型备案应成为强制性要求,模型厂商需通过网信部门基础评估以提前识别风险[6] - AI大模型风险需专业安全厂商持续投入,检测与防御将走向一体化,客户需从产品开发到代码审计全流程规划[6] - AI运营单位可通过合规评估、部署专项防护(如AI安全围栏)及引入第三方评估(渗透测试和安全评估)构建防护体系[6] - 通过安全手段建立信任可推动数据流通,全面应用AI技术将为各行业释放巨大价值[6]
网络安全企业加速AI创新新产品竞相落地
中国证券报· 2025-09-24 04:16
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统等产品,针对客户AI系统不同应用模式提供场景化服务[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 蚂蚁集团发布融合网络安全与AI技术的创新产品,包括智能眼镜可信连接技术框架gPass,并与Rokid、小米等品牌合作落地"看一下支付"场景[2] - 启明星辰安星智能体应用于安全运营、威胁检测等产品,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型应用与交付、5G专网与应用、数智运营三大增长引擎[3] AI技术带来的行业机遇 - AI技术帮助网络安全行业提升效率和完善产品性能[1] - 大模型能显著提升网络安全企业能力和效率,产生"乘数效应"[4] - AI技术应用为各行业带来爆发式增长,通过安全手段建立信任可推动数据流通并释放巨大价值[5] AI应用的新型安全风险 - 企业应用AI大模型需警惕提示词注入、模型被诱导等风险,行业主要依赖电子围栏技术防止违规输出[3] - 工具链漏洞和配置错误可能导致严重数据泄露,需重视软件供应链安全和基础安全措施[4] - 大模型带来恶意利用、内容安全、幻觉问题、提示词攻击等风险,可能成为新攻击载体和入口[4] - 智能体应用带来爆炸式安全风险,因其常拥有企业内网超级权限,需加强跨部门协作和动态防御体系[4] AI安全防护策略与行业趋势 - Gartner报告显示中国网络安全重点转向保障AI安全,预计到2027年60%中国大型企业采用暴露面管理技术,到2028年60%部署AI技术企业实施协作式AI防御策略[3] - 专家建议AI大模型备案成为强制性要求,模型厂商需进行基础评估以识别风险[5] - AI大模型运营单位可通过合规评估、部署专项防护(如AI安全围栏)、引入第三方评估构建防护体系[5] - 云计算安全问题需引起重视[3]
机器人成出海新势力,国际化要跨几道关?
机器人圈· 2025-05-09 17:18
智能终端出海趋势 - 中国智能终端出海已从单一产品出口迈向"产业链+商业模式"的全球化复制阶段,工业机器人、服务机器人、人形机器人成为出海新势力 [1] - 2023年中国工业机器人厂商出海收入达95.8亿元人民币,商用服务机器人出海收入为15.1亿元 [1] - 机器人出海涉及复杂数据交互和物理环境实时联动,面临设备失控、数据泄露等安全隐患 [1] 企业出海案例与策略 - 宇树科技四足机器人全球市场占比达60%-70%,美国CES展会展品售罄 [2] - 云深处过去三年海外营收持续增长,通过本地化服务与合作方解决部署、培训及售后问题 [2] - 部分企业通过开源策略吸引全球开发者参与产品迭代,如智元机器人AgiBot World数据集在GitHub下载量超2万次 [3] 安全挑战与解决方案 - 网络攻击存在不对称性,AI技术使黑客手段升级(如生成钓鱼邮件),传统防护体系难以应对 [3] - 中企通信推出AIPenTest安全工具箱和SIEM技术平台,采用"用AI保护AI"理念实现自动化检测和实时监控 [3] - 公司覆盖全球160个国家和地区,拥有170个网络节点以保障数据传输安全 [4] 行业生态与基础设施 - GitHub全球开发者数量达1亿,为机器人企业提供开源协作基础 [3] - 数据安全传输需强化基础设施建设,企业需构建全球化网络服务能力 [4]