Workflow
Knowledge Distillation
icon
搜索文档
5秒出4张2K大图!阿里提出2步生成方案,拉爆AI生图进度条
量子位· 2026-01-30 19:02
核心观点 - 阿里巴巴智能引擎团队通过一系列技术创新,将文生图扩散模型的推理速度大幅提升,实现了仅需2步前向计算即可生成高质量图像,速度较传统方法提升40倍,达到5秒生成4张2K高清大图的水平,使AI图像生成进入“眨眼之间”的时代 [1][2][3] 技术突破与性能表现 - **速度与效率**:团队将Qwen最新开源模型的生成步数从80-100步骤降至2步,速度提升40倍,实现5秒内生成4张2K高清大图 [1][2] - **模型发布**:相关模型检查点已发布在HuggingFace和ModelScope平台,供开发者下载体验 [5] 技术方案演进与创新 - **传统方案局限**:早期轨迹蒸馏方法在低迭代步数下存在生成图像模糊、细节扭曲的问题,因其损失函数对所有图像块一视同仁,导致细节学习不充分 [6][7] - **概率空间蒸馏**:采用基于概率空间的蒸馏方案(如DMD2算法),将约束从样本空间转换到概率空间,使用Reverse-KL损失函数,显著提升了生成图像的细节性和合理性,解决了细节丢失问题 [8][10][11][12] - **热启动缓解退化**:针对Reverse-KL损失可能导致的模式崩溃和分布锐化问题,团队使用PCM蒸馏进行模型热启动,有效改善了形体扭曲等问题 [14][15][16][17] - **引入对抗学习**:为了进一步提升细节表现,团队引入了对抗学习,通过混合真实数据与教师生成图、引入DINO特征提取器、调整损失权重等改进,显著提升了生成画面的质感和细节真实性 [20][23][25][26][28] 行业意义与团队背景 - **行业方向**:极少步数的扩散生成一直是AI生成领域的重要方向,但单一算法方案往往存在局限 [29] - **工程实践**:团队从实际落地效果出发,通过分析并针对性解决蒸馏带来的扭曲、纹理缺失等问题,最终使2步生成模型达到工业场景可落地的水准 [30] - **团队积淀**:团队作为阿里巴巴AI工程系统的建设者,聚焦于大模型全链路工程能力建设,包括训推性能优化、引擎平台、Agent应用平台等关键组件,并已贡献多项优秀开源项目 [34] - **未来计划**:团队将持续迭代扩散加速技术并开源模型权重,相关技术将同步在呜哩AI平台上线,旨在为更广泛的创作者提供触手可及的创作工具 [33][35][36]
图灵奖得主Hinton国内首次现身演讲:AI超越人类后,我们该怎么做
机器之心· 2025-07-26 16:19
人工智能发展历史 - 学界对AI存在两种理解范式:逻辑型(符号规则表达操作实现推理)与神经网络型(智能基础在于学习神经网络中的链接)[5] - 1985年开发的小语言模型通过分析词汇特征关联预测下一个词 未存储任何句子[7][8] - 技术发展脉络:Yoshua Bengio扩大模型规模→计算语言学家接受特征向量嵌入→谷歌开发Transformer→OpenAI推出ChatGPT[9] 大语言模型原理 - 当前LLM被视为1985年小语言模型的技术延续 使用更复杂神经元结构与多词输入建立特征交互[12] - LLM理解语言方式与人类相同:将语言转化为特征并以完美方式整合[13][14] - 词汇可类比为多维乐高积木 通过组合表达复杂含义 语言成为建模工具[16][17] - 词汇具有动态语义特征 根据上下文调整连接方式 类似蛋白质结合机制[19][20][22] 数字智能优势 - 数字智能可实现软件与硬件分离 软件具有永恒性[29] - 数字智能间知识传递效率远超人类 每秒可共享上万亿比特信息[37][40][41] - 模型权重复制与参数平均化技术实现跨硬件知识协同 如GPT-4并行运行[39][43] - 数字智能能耗虽高但具备可复制性 生物智能能耗低但知识迁移效率低下[45] AI未来发展挑战 - 高智能AI可能自主产生生存与控制动机 超越人类操控能力[47][48][49] - AI具备不可替代的行业价值 医疗教育等领域应用使全球无法彻底消除[54] - 需建立国际AI安全合作机制 类似冷战时期核管控模式[58][59][62] - 训练AI向善的技术需独立研发 各国可基于数据主权贡献解决方案[61] 技术应用案例 - DeepSeek采用知识蒸馏技术 将大网络知识迁移至小网络[33] - 神经网络教学模仿师生关系 教师优化连接方式 学生简化网络结构[34] - AlexNet在2012年ImageNet挑战赛突破图像识别 成为计算机视觉里程碑[66]
Google首席科学家万字演讲回顾AI十年:哪些关键技术决定了今天的大模型格局?
机器人圈· 2025-04-30 17:10
AI技术发展趋势 - 机器学习彻底改变对计算机能力的认知和期待,过去12-14年间计算资源、数据量和模型规模的扩大持续带来性能提升[5] - 算法和模型架构改进的影响超过硬件进步,导致计算范式从传统CPU为中心发生转变[5] - 神经网络和反向传播是深度学习革命的核心要素,2012年训练出规模空前的大型神经网络实现70%性能提升[7] - 2013年开发的Word2Vec词嵌入模型展现出语义相近词语向量聚集和向量方向具有语义意义两大特性[8] - 2014年开发的序列到序列学习模型为机器翻译等任务提供端到端解决方案[8] - 2017年提出的Transformer架构相比LSTM仅需1/10到1/100计算量就能取得更优性能[9] - 2018年开始流行利用自监督数据进行大规模语言建模,产生海量训练数据[10] - 2021年开发出将图像处理整合进Transformer框架的方法,统一文本和图像处理[10] - 2017年开发的混合专家模型(MoE)实现显著算法优势,训练计算成本降低8倍或相同成本下准确率提升[10] 硬件与基础设施创新 - 为神经网络推理构建定制化硬件TPU,比同期CPU和GPU快15到30倍,能效提升30到80倍[9] - 最新Ironwood Pod包含9216个芯片,总算力达42.5 TFLOPS,相比2018年首个训练Pod计算能力提升约3600倍[9] - 开发Pathways系统简化大规模计算执行,为开发者提供单一Python进程抽象层[11] - 推测解码技术利用小型"草稿模型"预测多个Token再由大模型验证,提高解码效率[13] - 知识蒸馏技术将大模型知识迁移到小模型,使用3%训练数据即可达到接近全量数据训练的效果[12] 多模态模型发展 - Gemini项目致力于打造全球最强多模态模型,能理解语言、视觉输入、音频并生成内容[16] - Gemini 1.5引入极长上下文长度,可处理百万Token内容如50篇研究论文或很厚的书[16] - 模型在编码能力、数学、多模态等方面表现优异,在LM Arena平台的Elo评分显著提高[16] - 多模态应用包括代码修复、极低资源语言翻译、视频理解与摘要、历史数据数字化等[20][21] - 通过高级自然语言提示生成代码,如使用P5js探索Mandelbrot集的可视化程序[21] 行业影响与未来方向 - 大语言模型正成为强大通用工具,能将专家知识普及给广大民众[23] - AI安全需要技术和政策监管双管齐下,包括检测错误信息和促进建设性讨论[24] - 数据尚未成为瓶颈,仍有海量未利用数据如视频数据,且可通过改进训练方法提升数据利用效率[25] - 下一个重大挑战是模型自主完成复杂任务的能力,如分解50个子步骤调用多种工具完成相当于一个月工作量的目标[26]