图像超分辨率
搜索文档
4K超分Agent修图师来了,一键救活所有模糊照片
36氪· 2025-11-21 15:34
不管是包浆的旧照、AI生成的低清图,又或是遥感/医学图像,现在都能智能修复并放大到4K超清分辨率。 图像清晰度提升一直是计算机视觉的"老问题",面对噪声、模糊、压缩损伤等复合退化,以及AI合成、遥感、生物医 学等其他领域图像时,传统单一模型往往力不从心。 由德克萨斯A&M大学、斯坦福大学、Snap公司、CU Boulder大学、德克萨斯大学奥斯汀分校、加州理工大学、Topaz Labs以及加州大学Merced分校的研究者联合提出的基于AI智能体的方法4KAgent针对不同类型的图像以及需求对图像 进行智能修复并放大到4K分辨率,带来优秀的视觉感知效果。该工作已被NeurIPS 2025接收。 为什么当前图像放大技术不够用? 传统图像放大模型通常只在特定类型图片上表现良好,一旦遇到真实世界中的复杂模糊、AI生成图的伪影,或是遥 感、医学等专业图像,就显得力不从心。 而将分辨率放大到4K,更是对细节重建和纹理真实度都提出了极高要求。 而在多数用户角度来看,有一个既通用又可控的框架来解决各式图像提升分辨率的需要是再好不过的。4KAgent正是 在这些现实挑战与需求下诞生的。 基于多智能体的设计,4KAgent可以为 ...
4K超分Agent修图师来了!一键救活所有模糊照片
量子位· 2025-11-21 14:29
技术背景与市场需求 - 图像清晰度提升是计算机视觉领域的经典问题,传统单一模型在处理噪声、模糊、压缩损伤等复合退化,以及AI合成、遥感、生物医学等专业图像时表现不佳[2][3] - 真实世界中的复杂模糊、AI生成图的伪影,以及遥感、医学等专业图像对放大技术提出更高要求,用户需要一个既通用又可控的框架来解决各式图像提升分辨率的需求[5][6] - 将分辨率放大到4K对细节重建和纹理真实度提出极高要求,4KAgent正是在这些现实挑战与需求下诞生的[6] 4KAgent核心技术框架 - 基于多智能体的设计,4KAgent可以为每张图像设计出一条通往4K分辨率的道路[7] - 感知智能体分析图像内容及退化信息,通过图像分析器评估质量指标,退化推理利用视觉语言模型得到退化信息和复原任务列表,任务规划利用大语言模型制定复原计划[11] - 复原智能体采用"执行-反思-回滚"机制,在执行阶段调用九种不同复原任务的state-of-the-art模型,在反思阶段基于质量评分评估候选图像,当质量低于阈值时触发回滚机制[13][16] - 系统集成人脸修复模块,检测并裁剪人脸后应用不同修复方法,基于人脸质量评分选择最优结果贴回原始图像[18] - 设置Fast4K模式控制运行时间,当图像尺寸超过预设阈值时去除推理时间较长的方法来加速推理[18] 技术优势与工具配置 - 4KAgent的工具栏包含九大类复原任务,涵盖亮度调整、去模糊、去雾、超分辨率、去噪、人脸修复等,集成了ConvIR、DehazeFormer、DiffBIR、GFPGAN等先进模型[14] - 设计配置模块提供可配置的使用偏好,如优先感知质量还是保真度、是否激活人脸修复模块等,能适配不同图像复原场景且无需额外训练[20] - 质量评分综合无参考图像质量指标和人类偏好分数,整体流程可视为质量驱动的专家混合系统[16] 性能测试与实际效果 - 在11种不同图像超分辨率任务的26个基准测试集进行广泛测试,涵盖经典图像超分、真实世界图像超分、多重退化图像复原、大尺度图像超分等[21] - 在经典图像超分和真实世界图像超分任务中,生成的图像展现出更丰富、更精准的细节,如树皮条纹、鹿角结构、羽绒服纹理和数字清晰度[21] - 在16倍放大任务中生成高细节度且逼真的纹理,包括岩石与草丛纹理、人脸图片中的发丝、眉毛纹理和眼睛细节[25] - 在DIV4K-50测试集上检验从256×256到4096×4096的复原能力,始终能重建更精细、更自然的细节,如人脸细节和毛发纹理[27] 应用前景与行业价值 - 该系统在多个领域提升图像复原质量,涵盖自然场景、人像、AI生成内容,以及遥感、显微镜和医学影像等专业科学模态[28] - 在无需特定领域再训练的情况下,在各个场景下均能达到优秀复原表现,彰显优秀泛化能力,为消费级、商业级及科研级应用中的通用部署提供实践价值[28]