Workflow
慕尼黑工业大学等基于SD3开发卫星图像生成方法,构建当前最大规模遥感数据集
36氪·2025-06-30 15:47

卫星图像生成技术突破 - 德国慕尼黑工业大学和瑞士苏黎世大学团队提出结合地理气候提示与Stable Diffusion 3(SD3)生成卫星图像的新方法,并创建了最大遥感数据集EcoMapper [1][2] - EcoMapper数据集包含来自全球104,424个地点的290万张RGB卫星图像,覆盖15种土地覆盖类型及气候记录,空间覆盖面积达270万平方公里(占陆地面积2.05%)[5][7] - 该方法通过合成图像填补云层覆盖导致的观测空白,为全球气候适应和地理空间分析提供新工具 [2] 数据集与模型架构 - EcoMapper数据集按时间分批次采集,训练集含98,930个点位各24个月观测数据,测试集含5,494个点位96个月数据 [5][6] - 采用两种生成模型:微调后的SD3(支持1024x1024高分辨率)和专为遥感设计的DiffusionSat,后者通过元数据嵌入层增强时空属性编码 [8][9] - 多条件生成框架结合ControlNet技术,以历史卫星图像维持空间结构,气候提示反映环境变化,支持时间序列景观演变模拟 [10][12] 性能验证与行业应用 - SD3-FT-HR模型在文本到图像任务中FID最低(49.48),生成图像细节优于基线模型(SD3基线FID 157.36)[14][15] - 多条件生成模型FID进一步降至48.20,保持地理特征同时精准融合气候变化 [19][20] - 技术可应用于作物预测、土地利用监测及多云地区图像填补,推动气候变化可视化与情景探索 [22] 行业技术发展动态 - DiffusionSat为首个卫星图像专用扩散模型,支持多光谱输入和时间序列生成,由斯坦福团队开发并发表于ICLR 2024 [23] - MetaEarth模型通过自级联框架实现全球尺度无边界图像生成,北京航空航天大学团队成果 [24] - Earth Intelligence Engine结合物理模型生成洪水卫星图像,MIT等机构验证其物理一致性与泛化能力 [25][26]