SEA框架

搜索文档
打破资源瓶颈!华南理工&北航等推出SEA框架:低资源下实现超强多模态安全对齐
AI前线· 2025-05-24 12:56
作者 | 米艳鑫 本文介绍来自北航彭浩团队的最新科研成果 - SEA 框架(Synthetic Embedding 增强安全对齐),针对多模态大模型(MLLMs)的低资源安全对齐难题,创 新性地通过合成嵌入替代真实多模态数据。团队通过合成嵌入技术,突破多模态安全对齐的资源瓶颈,为大模型安全落地提供轻量化方案。 论文名称: SEA: Low-Resource Safety Alignment for Multimodal Large Language Models via Synthetic Embeddings 论文链接: https://arxiv.org/abs/2502.12562 代码链接: https://github.com/ZeroNLP/SEA 随着人工智能技术的发展,多模态大型语言模型(MLLMs)将额外模态编码器与大型语言模型(LLMs)相结合,使其具备理解和推理图像、视频和音 频等多模态数据的能力。尽管 MLLMs 实现了先进的多模态能力,但其安全风险比 LLMs 更为严重。通过向图像或音频等非文本 [1] 输入注入恶意信 息,MLLMs 很容易被诱导遵守用户的有害指令。 为解决上述问题 ...