Shadow AI
搜索文档
What is ‘BYOAI’ and why it’s a serious threat to your company
Yahoo Finance· 2025-09-11 00:30
行业核心趋势:BYOA(自带人工智能) - 行业正经历从技术驱动到社会学驱动的根本性转变,大多数非专业用户将直接采用科技巨头提供的AI模型,如同使用“认知家电”,并在此过程中生成被企业用于货币化的数据 [1] - 一种被称为BYOA或BYOAI(自带算法/人工智能)的趋势已无处不在,员工将自行引入的AI智能体嵌入日常工作流程,这与早期的BYOD(自带设备)有本质区别,后者关乎设备,而前者关乎一个能决策、推理和学习的认知层 [2] - 知识工作已由智能体作为中介,否认这一现实是徒劳的,关键在于企业如何将这一事实转化为战略优势 [9][10] 新兴人才与公司管理挑战 - 一类真正精通AI的新兴专业人士正在崛起,他们构建、微调并运行属于自己的个人AI智能体,将其视为个人资本的一部分,剥夺其使用个人AI的权利将导致其生产力和专业身份崩溃 [3] - 企业为吸引此类顶尖人才,必须重新思考激励机制,无法仅凭政策备忘录来限制其优势,管理文化需要成熟,固守工具统一性的管理者将驱散那些能最大化AI效能的员工 [4][7] - 人才竞争将因此加剧,重要的衡量标准将不再是员工对公司软件列表的服从度,而是可验证、可追溯的绩效表现 [7] 企业治理与合规演进 - 企业的安全与合规策略需从幻想“根除影子AI”转向现实地管理它,使其明确、可盘点、可审计,尽早意识到这点的公司将能捕获价值,否则将持续流失人才 [6] - 合同将随之演进,出现“算法条款”,明确规定个人AI的使用,包括模型与数据集的声明、隔离要求、对关键决策输出的审计权,以及雇佣关系结束时的可移植性和删除义务 [5] - 新的员工福利也将出现,例如计算津贴、推理积分、以及对本地硬件或边缘节点的补贴 [5] 未来组织与技术融合方向 - 企业的目标不应是标准化智能体,而是通过模型认证、密封权重、明确数据边界、透明遥测和加密限制等技术,在公司边界内创建可信计算飞地,实现智能体的安全共存 [4] - 领导者需要学会评估人机协作的成果,决定何时将任务委托给智能体,并设计以混合团队为默认模式的工作流程 [8] - 组织需要重新划定信任、责任和知识产权的界限,以应对人力资本自带算法的经济现实 [9]
IBM Report: 13% Of Organizations Reported Breaches Of AI Models Or Applications, 97% Of Which Reported Lacking Proper AI Access Controls
Prnewswire· 2025-07-30 18:00
AI安全与治理 - AI采用速度远超安全治理 仅有49%被入侵公司计划投资安全领域 [1] - 13%公司报告AI模型或应用遭入侵 8%不确定是否被入侵 其中97%缺乏AI访问控制 [6] - AI相关安全事件导致60%数据泄露和31%运营中断 63%被入侵公司无AI治理政策或政策不完善 [6][7] 影子AI风险 - 20%公司因影子AI遭入侵 仅37%有政策管理或检测影子AI [7] - 高影子AI使用公司平均多承担67万美元入侵成本 影子AI事件导致个人身份信息(65%)和知识产权(40%)泄露比例高于全球均值(53%和33%) [7] AI驱动的攻击 - 16%入侵事件涉及攻击者使用AI工具 主要用于钓鱼或深度伪造攻击 [7] - 广泛采用AI和自动化安全运营的公司平均节省190万美元入侵成本 并将入侵生命周期缩短80天 [3] 数据泄露成本 - 全球平均入侵成本降至440万美元(五年来首降) 美国达创纪录1022万美元 [1][7] - 医疗行业入侵成本最高(742万美元) 但较2024年减少235万美元 该行业识别控制入侵耗时279天(比全球均值241天长5周) [7] 入侵生命周期 - 全球平均入侵生命周期缩短至241天(同比减少17天) 内部发现入侵的公司比攻击者披露节省90万美元成本 [7] - 近半数公司因入侵计划涨价 三分之一涨价幅度超15% [9] 历史趋势 - 2005年45%入侵由设备丢失被盗引起 仅10%因电子系统被黑 [14] - 2021年勒索软件平均成本462万美元 2025年攻击者披露事件达508万美元 [14] - 2025年AI首次纳入研究即成为高价值目标 [14] 行业应对现状 - 勒索支付疲劳显现 2025年63%公司拒绝支付赎金(2024年为59%) [13] - 计划投资安全的被入侵公司比例从2024年63%降至2025年49% 其中不到半数聚焦AI安全解决方案 [13]
近半公司不了解员工在用AI:AI办公普及加速,企业安全监管仍然滞后
21世纪经济报道· 2025-05-26 11:40
AI在企业安全中的应用与挑战 - AI被视为提升生产力的关键引擎,快速渗透到各类办公场景中 [1] - 大多数国内企业在安全运营中已初步使用AI,90%以上的受访者将生成式AI用于威胁情报收集和威胁检测 [1] - 全球86%的企业在过去一年经历至少一次AI相关安全事件,中国大陆市场这一数字为92% [1] 企业网络安全就绪现状 - 中国大陆市场仅5%的企业网络安全就绪指数达到"成熟"水平 [3] - 48%的国内受访者表示能充分理解AI带来的安全威胁,不足一半的企业认为安全团队了解攻击者如何利用AI [4] - 企业安全系统难以覆盖所有AI使用路径,大多数安全团队无法追踪员工在生成式AI工具中的输入内容 [4] 员工使用AI的监管难题 - 约50%的国内员工使用公司批准的AI工具,20%的员工能不受限制地访问公网AI工具如ChatGPT [3] - 46%的企业对员工使用AI工具的情况毫不知情 [3] - 员工自行使用AI工具的行为被称为"影子AI",可能导致商业机密或用户数据泄露 [4] 生成式AI的普及与安全挑战 - 生成式AI迅猛普及,但员工认知不足,企业安全保障能力未跟上 [4] - AI系统分散部署在多个业务部门,数据链条复杂,统一管理难度大 [4] - 国内企业最关注AI合规性和业务连续性,尤其担心网络攻击和业务中断 [4] 企业AI安全防护建议 - 第一步"发现":明确公司内部网络中存在的AI应用,包括未经授权的工具 [5] - 第二步"检测":识别AI系统可能存在的漏洞和风险点 [5] - 第三步"防护":构建安全机制应对新型攻击手法如提示词攻击、幻觉内容生成等 [5]