Bing Chat

搜索文档
企业 GenAI 的最大风险以及早期使用者的经验教训
36氪· 2025-08-11 08:20
生成式人工智能安全风险概述 - 生成式人工智能被列入企业路线图,但需避免发布不安全产品,模型应在沙盒化、受监控环境中运行[1] - 主要风险包括即时注入、代理权限滥用、RAG中毒、隐私/IP泄露、不安全输出处理等[1] - 企业现实加剧风险,如AI供应链不成熟、可观察性与合规性冲突、模型更新导致行为改变等[1] 生成式人工智能安全策略 - 采用零信任和纵深防御策略,限制输入、隔离工具并净化输出[2] - 部署前关键措施包括RBAC机制、DLP/PII扫描、版本锁定、防篡改日志等[2] - 若无法执行控制措施,需暂停发布[2] 生成式人工智能安全挑战 - 即时注入是新的"SQLi",攻击者可通过聊天、文档等覆盖模型指令或泄露数据[4] - 代理/工具滥用导致权限边界问题,需采用严格RBAC和人工审批[4] - RAG中毒引入新攻击面,需强化提取管道和来源签名[4] - 隐私泄露和IP溢出风险需通过DLP和显式扫描程序解决[4][5] - 模型和AI供应链风险需通过出处验证和行为审查应对[5] 企业行动计划 - 未来90天重点包括GenAI安全审计、高价值低风险用例试点、评估工具实施[6][7] - 避免常见错误如无防护措施部署、用例与业务不一致、跳过评估监督[8][9] - 需建立安全治理框架,包括威胁建模、访问控制、第三方风险审查[10] 数据与人才关键因素 - 39%首席数据官认为数据质量是GenAI应用最大障碍,需建立集中式知识数据库[11] - 技能缺口需通过混合团队和员工培训解决,变革管理至关重要[12] - 需定义新KPI并采用实验性思维方式,通过A/B测试衡量业务成果[13] 成熟度差异与路线图 - 高成熟度组织关注安全威胁,投资即时防火墙和模型卡片文档[14] - 低成熟度组织聚焦用例探索,建议从横向用例入手积累经验[14] - 成功路线图需从实验阶段逐步发展为稳定AI平台[15] 案例研究 - 摩根大通通过代码片段检查器和内部工具政策防止IP泄露[16] - 微软Bing Chat通过提示隔离和对抗样本训练降低越狱成功率[17] - Syntegra医疗AI采用差异隐私技术确保HIPAA合规[18] - Waymo通过模型注册表和沙盒执行保障供应链安全[19][20] 30-60-90天行动计划 - 0-30天:威胁建模、速效防护、访问控制审计、事件响应计划[22][23] - 31-60天:红队模拟、高级控制部署、演练培训、数据治理检查[24][25][26] - 61-90天:外部审计、指标优化、持续改进与治理委员会[27][28][29]
OpenAI对微软的“独立战争”
虎嗅APP· 2025-07-05 11:09
核心观点 - OpenAI与微软的谈判核心围绕技术主权、股权结构和利润分成展开,双方从蜜月期走向战略博弈 [1][2][9] - OpenAI寻求商业化独立,通过重组为公益公司(PBC)摆脱非营利架构限制,需微软同意新股权结构 [1][8] - 微软希望维持技术主导权,尤其关注AGI条款对独家使用权的潜在影响 [3][13][14] - 双方在云服务合作、并购案审批等具体条款上存在直接利益冲突 [11][12][17] 合作历史与现状 - 2019年微软首次投资10亿美元成为OpenAI独家云合作伙伴,累计投资达130亿美元 [5][6] - 2023年微软追加100亿美元投资,获得2030年前技术使用权及20%收入分成 [6] - 2024年OpenAI因服务器资源不足与甲骨文、谷歌达成云合作,启动"Stargate"数据中心项目(投资5000亿美元) [7][18] - OpenAI开发自研AI芯片并计划年底投入使用,加速"去微软化" [18] 关键谈判分歧 股权与利润分配 - OpenAI提议微软放弃1200亿美元利润分成权,换取新PBC中33%股权 [11] - 微软坚持利润分成模式,原协议下2030年或可获350亿美元收入分成+1200亿美元利润 [11] - OpenAI若年底未完成重组,软银300亿美元投资可能削减100亿美元 [2] 云服务合作 - OpenAI希望终止Azure独家托管权,允许模型部署在谷歌、亚马逊等平台 [11][17] - 微软要求保留Azure优先销售权或获取其他利益补偿 [11] AGI条款 - "充分AGI声明"触发后微软独家使用权终止,OpenAI可与其他云厂商合作 [3][13] - 判断标准由OpenAI董事会自主决定,需微软同意评估方法 [14] - 双方可能以"人工超级智能(ASI)"替代AGI作为新触发条件 [14] 战略博弈手段 - 微软采用拖延战术,利用OpenAI年底前必须完成重组的时限施压 [16] - OpenAI准备反垄断投诉,指控微软云资源垄断,并加速与谷歌/甲骨文合作 [17][18] - OpenAI开发竞争性产品如ChatGPT协作功能,直接威胁Microsoft Office [16] - 未来四年OpenAI预计烧钱460亿美元,融资中断将严重影响研发 [19]