Workflow
MCP技术
icon
搜索文档
专家:部分AI知无不言,成“套话重灾区”|数博会
中国经营报· 2025-09-02 23:08
AI大模型已在众多领域广泛应用,其强大能力来源于算法、架构以及大量高质量的数据语料。但与此 同时,数据安全问题也随之凸显,其中AI"套话"现象正引发业内关注。 在2025年中国国际大数据产业博览会期间,《中国经营报》记者采访了一家网络安全公司的首席技术 官。他指出,大模型本身包含了大量敏感和关键信息,就像一个巨大无比的数据库。与传统数据库不 同,传统数据库只有在接收到特定指令时才会输出数据,不具备自主思考能力;而大模型因具备一定的 推理与发散能力,更容易在对话中被"套话"。 所谓"套话",就是指像人与人交流时不经意间泄露信息一样,AI在交互过程中也可能因被引导而暴露敏 感内容。该人士表示,从技术层面看,在数据库调用或问答过程中,大模型可能因不当询问而泄露信 息;在训练阶段,由于语料规模庞大,也可能无意间将敏感信息纳入其中,使得模型"记住"这些内容, 并在后续交互中被引出。 他进一步强调,大模型应用的系统链路往往十分复杂,涉及多个环节和交互过程,从数据传输、存储到 调用,任何一个环节出现漏洞,都可能为"套话"提供机会。因此,判断AI是否存在"套话"风险,必须从 整体上审视交互系统,逐环排查安全隐患。 AI被"套 ...