大模型卫士

搜索文档
周鸿祎:大模型降低了使用门槛,也降低了被攻击门槛
新浪科技· 2025-07-23 11:26
大模型安全风险与应对措施 核心观点 - 大模型在落地应用中面临三大主要安全风险:幻觉问题、攻击门槛降低、国家级高级威胁攻击 [1][2] - 360集团提出两项解决方案:智能体安全专家实时防御、"大模型卫士"监控指令与输出 [3] 大模型安全风险 - **幻觉问题**:大模型会一本正经地编造错误信息,在工业生产和政务领域可能造成严重后果,尤其是智能体具备工具操纵能力后危害更大 [1] - **攻击门槛降低**:大模型使非编程人员也能发动"注入攻击",例如通过指令窃取企业机密文件,前台人员亦可实施攻击 [2] - **国家级威胁升级**:黑客将经验嵌入大模型后可操纵50-500个智能体,网络安全演变为算力对抗,数字黑客无需休息 [2][3] 360集团解决方案 - **智能体安全专家**:通过算法实时检测和防御攻击,实现"以算法对抗算法" [3] - **大模型卫士**:监控指令输入与输出合理性,结合搜索和企业知识库降低幻觉概率 [3]
夏季达沃斯论坛|AI怎么“+”企业?行业大佬这么说
新华社· 2025-06-26 23:18
AI对传统制造业的影响 - AI为传统制造业带来难得的发展机会 [1] - 人工智能应用需以场景应用为牵引 [1] - AI技术发展给机器人等新兴行业带来新压力 [1] AI在企业中的应用与挑战 - AI能提升用户体验并推动企业快速响应市场需求 [3] - 人工智能辅助决策可提升数据质量、场景价值和人的创造力 [3] - AI取代重复性劳动的同时会创造新岗位 需社会在培训和转岗方面做好准备 [5] - 员工需具备更强思考能力和批判性思维以发挥AI真正作用 [5] 网络安全与AI的挑战 - 数字黑客和大模型"幻觉"成为网络安全新挑战 [6] - 企业正打造智能体安全专家 用机器对抗机器解决网安问题 [6] - 研究"大模型卫士"以控制AI指令执行中的"幻觉"降低被攻击概率 [6] AI智能体经济的监管与发展 - 需监控AI智能体学习速度和社会影响 [8] - 建议建立配套政策和道德监管体系后再应用AI [8] - 呼吁员工参与标准制定以最小化AI负面影响 [8] AI在机器人行业的应用与趋势 - 海尔布局工业机器人、家用机器人 未来可能发展人形机器人 [9] - 技术变革推动机器人行业大变革 AI带来新挑战 [11] - 人形机器人火爆与技术进步和市场拓展相关 科技公司需保持持续进步 [11]