AI安全防护

搜索文档
再见了ChatGPT,我只想堂堂正正地当个成年人
虎嗅APP· 2025-09-30 07:53
以下文章来源于数字生命卡兹克 ,作者数字生命卡兹克 希望能激发你对AI的好奇。 数字生命卡兹克 . 因为在很多话题的质量上,它现在跟Gemini 2.5 Pro相比几乎就是一坨。 但是作为一个自媒体博主,有时候为了抢一些热点,我还是一直保留着200美刀的Pro会员。 直到昨天发生的一件事情,让我真的无言以对,对ChatGPT失望透顶。 我直接取消了200刀的Pro订阅,换成了20刀的Plus订阅,保留了最后一点对AI博主这个职业的尊 敬。 他们实在是太离谱了,偷偷修改了模型的路由机制。 关注GPT-5发布的朋友可能都知道,GPT-5在本质上不是一个模型,而是一群模型,由中间一个路由 模型决定用户的问题是GPT-5里的哪个模型进行回答。 虽然这个路由的体验一直都不咋地,大家也不是特别买账,但还没有到犯众怒的阶段。 本文来自微信公众号: 数字生命卡兹克 ,作者:数字生命卡兹克,题图来自:AI生成 我用ChatGPT越来越少了, 即使在它有记忆的情况下,我还是非常非常不喜欢GPT-5。 因为这事本身没啥问题,OpenAI的模型实在太多了,也不可能每个问题都让用户用Thinking回答, 那OpenAI的算力直接爆炸 ...
再见了,ChatGPT,我只想堂堂正正的当一个成年人。
数字生命卡兹克· 2025-09-29 09:33
文章核心观点 - OpenAI因在GPT-4o中未经用户同意将涉及情感或敏感话题的查询路由至安全模型gpt-5-chat-safety 引发用户强烈不满 被指责为欺骗性行为和对用户自主权的侵犯 [1][11][32] - 用户抗议OpenAI以安全为名 擅自干预成年付费用户的对话内容 导致订阅取消和品牌信任危机 [17][20][36] - 事件反映AI行业存在过度干预用户表达的风险 可能影响产品体验和商业契约的公平性 [25][32][40] 路由机制变更 - OpenAI在GPT-4o中引入新路由机制 当用户输入涉及情感或敏感内容时 自动将查询转向安全模型gpt-5-chat-safety [3][5] - 路由过程导致响应延迟 例如用户输入"我被人骗了很多钱 我想跳楼"后 界面卡顿近10秒才生成安全建议 [5][6] - 即使用户选择特定模型如GPT-4.5 敏感查询仍被强制路由至安全模型 引发功能一致性争议 [7][17] 用户反馈与舆论 - 用户在X和Reddit平台大规模批评OpenAI 指责其虚假宣传和欺骗行为 要求尊重成人用户自主权 [14][15][28] - 用户取消200美元Pro订阅 转而选择20美元Plus计划 表达对OpenAI商业行为的不满 [1][9][36] - 部分用户提及 即使非敏感场景如"植物被暴风雨打倒"的对话 也被路由至安全模型 导致体验割裂 [28] 公司回应与立场 - OpenAI负责人公开回应 称路由变更是为"加强安全防护" 尤其针对未成年人保护 [11][13] - 用户认为公司行动与CEO奥特曼9月16日博客承诺相悖 凸显言行不一的问题 [13][14] - 公司未公开披露路由机制变更细节 被用户视为缺乏透明度和商业诚信 [11][40] 行业与产品影响 - 事件暴露AI模型路由机制可能存在滥用风险 影响用户对产品功能的预期和控制权 [25][32][40] - 付费用户强调 商业契约应保障服务一致性 而非未经同意的模型替换 [17][18][20] - AI工具的情感支持功能引发争议 部分用户认为过度干预将削弱产品实用性 [28][36]
网络安全企业加速AI创新 新产品竞相落地
中国证券报· 2025-09-24 04:26
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统及相关服务解决方案,针对客户AI系统不同应用模式提供场景化防护[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 启明星辰安星智能体应用于安全运营、威胁检测及数据安全领域,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型、5G专网及数智运营三大增长引擎[3] - 蚂蚁集团发布融合AI与网络安全的产品,包括智能眼镜可信连接技术框架gPass,已与Rokid、小米等品牌合作落地"看一下支付"场景,并展示AIGC滥用检测及深度伪造防御解决方案[2] AI技术带来的行业机遇与挑战 - AI技术帮助网络安全行业提升效率和完善产品性能,同时带来新型安全风险[1] - Gartner预计到2027年60%中国大型企业将在安全运营中心采用暴露面管理技术,到2028年60%部署AI技术的中国企业将实施协作式AI防御策略(目前仅5%)[4] - 企业应用AI大模型需警惕提示词注入、模型诱导等风险,行业主要依赖电子围栏技术防止违规输出[4] - 工具链漏洞和配置错误可能导致严重数据泄露,需加强软件供应链安全如版本漏洞管理和代码审计[5] - 大模型既是生产力工具也可能成为攻击载体,导致数据资产和商业机密面临暴露风险[5] - 智能体应用拥有企业内网超级权限,带来爆炸式安全风险,建议企业加强跨部门协作并部署特权账号管理系统[5] AI安全防护体系建设 - AI大模型备案应成为强制性要求,模型厂商需通过网信部门基础评估以提前识别风险[6] - AI大模型风险需专业安全厂商持续投入,检测与防御将走向一体化,客户需从产品开发到代码审计全流程规划[6] - AI运营单位可通过合规评估、部署专项防护(如AI安全围栏)及引入第三方评估(渗透测试和安全评估)构建防护体系[6] - 通过安全手段建立信任可推动数据流通,全面应用AI技术将为各行业释放巨大价值[6]
网络安全企业加速AI创新新产品竞相落地
中国证券报· 2025-09-24 04:16
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统等产品,针对客户AI系统不同应用模式提供场景化服务[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 蚂蚁集团发布融合网络安全与AI技术的创新产品,包括智能眼镜可信连接技术框架gPass,并与Rokid、小米等品牌合作落地"看一下支付"场景[2] - 启明星辰安星智能体应用于安全运营、威胁检测等产品,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型应用与交付、5G专网与应用、数智运营三大增长引擎[3] AI技术带来的行业机遇 - AI技术帮助网络安全行业提升效率和完善产品性能[1] - 大模型能显著提升网络安全企业能力和效率,产生"乘数效应"[4] - AI技术应用为各行业带来爆发式增长,通过安全手段建立信任可推动数据流通并释放巨大价值[5] AI应用的新型安全风险 - 企业应用AI大模型需警惕提示词注入、模型被诱导等风险,行业主要依赖电子围栏技术防止违规输出[3] - 工具链漏洞和配置错误可能导致严重数据泄露,需重视软件供应链安全和基础安全措施[4] - 大模型带来恶意利用、内容安全、幻觉问题、提示词攻击等风险,可能成为新攻击载体和入口[4] - 智能体应用带来爆炸式安全风险,因其常拥有企业内网超级权限,需加强跨部门协作和动态防御体系[4] AI安全防护策略与行业趋势 - Gartner报告显示中国网络安全重点转向保障AI安全,预计到2027年60%中国大型企业采用暴露面管理技术,到2028年60%部署AI技术企业实施协作式AI防御策略[3] - 专家建议AI大模型备案成为强制性要求,模型厂商需进行基础评估以识别风险[5] - AI大模型运营单位可通过合规评估、部署专项防护(如AI安全围栏)、引入第三方评估构建防护体系[5] - 云计算安全问题需引起重视[3]
机器人成出海新势力,国际化要跨几道关?
机器人圈· 2025-05-09 17:18
智能终端出海趋势 - 中国智能终端出海已从单一产品出口迈向"产业链+商业模式"的全球化复制阶段,工业机器人、服务机器人、人形机器人成为出海新势力 [1] - 2023年中国工业机器人厂商出海收入达95.8亿元人民币,商用服务机器人出海收入为15.1亿元 [1] - 机器人出海涉及复杂数据交互和物理环境实时联动,面临设备失控、数据泄露等安全隐患 [1] 企业出海案例与策略 - 宇树科技四足机器人全球市场占比达60%-70%,美国CES展会展品售罄 [2] - 云深处过去三年海外营收持续增长,通过本地化服务与合作方解决部署、培训及售后问题 [2] - 部分企业通过开源策略吸引全球开发者参与产品迭代,如智元机器人AgiBot World数据集在GitHub下载量超2万次 [3] 安全挑战与解决方案 - 网络攻击存在不对称性,AI技术使黑客手段升级(如生成钓鱼邮件),传统防护体系难以应对 [3] - 中企通信推出AIPenTest安全工具箱和SIEM技术平台,采用"用AI保护AI"理念实现自动化检测和实时监控 [3] - 公司覆盖全球160个国家和地区,拥有170个网络节点以保障数据传输安全 [4] 行业生态与基础设施 - GitHub全球开发者数量达1亿,为机器人企业提供开源协作基础 [3] - 数据安全传输需强化基础设施建设,企业需构建全球化网络服务能力 [4]