研究团队与背景 - 该技术由深圳大学可视计算研究中心黄惠教授课题组独立完成，第一作者为杨景媛助理教授，第二作者为硕士生柏梓桓[2] - 深圳大学可视计算研究中心以计算机图形学、计算机视觉、人机交互、机器学习、具身智能、可视化为学科基础[2] 技术定位与目标 - 该技术旨在解决用户因缺乏绘画功底或艺术训练而无法将情感融入图像的问题，用户仅需提供一种“情感”，技术即可完成创作[4] - 该技术致力于图像情感风格化，其双重目标是精准且显著地唤起目标情感，并保持编辑后图像与原图的语义一致性[4][5] - 该技术融合了风格迁移和情感图像处理的优势，旨在生成既能唤起情感又具有艺术风格化的结果[5] 核心技术挑战与解决方案 - 该技术面临两大关键挑战：一是训练数据缺失，缺乏“内容-情感-风格化”图像三元组；二是建立情感与艺术风格之间的有效映射[5] - 为解决数据缺失挑战，研究团队构建了首个AIS数据集EmoStyleSet，涵盖10,041个高质量三元组，为情感风格化提供了基准[7][8] - 为建立情感与风格映射，团队设计了Emotion-Content Reasoner模块，通过跨模态推理，根据图像内容和目标情感确定最合适的艺术风格[12][13][14] - 团队提出Style Quantizer模块，将连续的风格特征离散化为独立的、可解释的原型，以实现可控的风格学习，符合人类对艺术风格作为离散类别的认知[15][16][17] 技术方法与训练 - 网络通过两阶段训练进行优化，结合风格损失、流匹配损失和对齐损失，分别侧重于风格相似性、像素相似性和情感正确性[18][19] - 在构建EmoStyleSet数据集时，团队利用UnZipLoRA和ControlNet等技术生成图像，并经过指标测量和人工筛选以保证数据质量[10] 实验结果与性能 - 在定量实验中，该技术在多项关键指标上超越对比方法，例如其Emo-A（情感准确性）指标达到33.36%，显著高于其他方法[26] - 在对比实验中，该技术在情感表达与内容保留之间实现了卓越的平衡，生成的风格化效果既美观又富有情感感染力[22] - 消融实验表明，Emotion Encoder和Emotion-Content Reasoner对情感感知至关重要，移除会导致情感感染力减弱；Style Quantizer的缺失则会使结果更接近真实图像而非风格化[25] - 该技术揭示了情感强度与内容完整性之间的权衡关系，用户可根据个人偏好调整情感强度以精细调节风格化效果[27] - 该技术构建了八个情感风格词典，每种都提供多样且美观的风格类别，能有效唤起目标情绪，用户可进一步选择特定风格[29] 技术扩展与应用 - 除了图像风格化，该技术还能扩展到文生图任务领域，能够根据文本描述创建富有情感表现力的图像[8][31] 研究脉络与展望 - 该研究是团队在情感计算与AIGC交叉领域的系列探索之一，此前已发布EmoSet、EmoGen、EmoEdit等研究成果[34] - 该技术被定位为首个聚焦于图像情感风格化的研究[34]