大模型安全风险与应对措施 核心观点 - 大模型在落地应用中面临三大主要安全风险：幻觉问题、攻击门槛降低、国家级高级威胁攻击 [1][2] - 360集团提出两项解决方案：智能体安全专家实时防御、"大模型卫士"监控指令与输出 [3] 大模型安全风险 - 幻觉问题：大模型会一本正经地编造错误信息，在工业生产和政务领域可能造成严重后果，尤其是智能体具备工具操纵能力后危害更大 [1] - 攻击门槛降低：大模型使非编程人员也能发动"注入攻击"，例如通过指令窃取企业机密文件，前台人员亦可实施攻击 [2] - 国家级威胁升级：黑客将经验嵌入大模型后可操纵50-500个智能体，网络安全演变为算力对抗，数字黑客无需休息 [2][3] 360集团解决方案 - 智能体安全专家：通过算法实时检测和防御攻击，实现"以算法对抗算法" [3] - 大模型卫士：监控指令输入与输出合理性，结合搜索和企业知识库降低幻觉概率 [3]