大模型推理性能优化技术方向 - 大模型推理性能优化围绕模型优化、推理加速与工程优化三大方向展开 [3] - 模型优化手段包括量化、剪枝与蒸馏，例如DeepSeek-R1-Distill-Qwen-32B通过蒸馏策略显著压缩资源开销 [4] - 推理加速依赖SGLang、vLLM等高效引擎提升生成速度与系统吞吐能力 [4] - 工程优化需结合业务场景规划并发策略与GPU配置，构建高可用推理服务体系 [4] 腾讯混元AngelHCF框架实践 - 腾讯推理架构师向乾彪将分享混元大语言模型的推理加速框架AngelHCF [5] - AngelHCF在算子设计、通信优化、架构调整方面取得显著成本与性能优势 [6] - 关键技术包括混元Turbos Hybrid推理优化、Mamba Hybrid模型结构创新 [6] - 通过Kernel/显存/KVCache优化降低资源消耗，并采用超大规模MoE模型并行策略缓解通信瓶颈 [6][7] - 智能调度与计算通信重叠策略确保大规模推理环境高效运行 [7] 华为昇腾推理技术优化 - 华为昇思AI框架开发者张君将探讨大模型推理加速的算子融合、量化及Attention容量压缩技术 [9] - 通过昇腾硬件加速库ATB、图编译技术TorchAir实现模型层/框架层/算子层协同优化 [10] - 动态批处理技术与前沿融合算子设计最大化硬件资源效率 [10] 微软KV缓存长文本优化 - 微软姜慧强聚焦KV缓存优化，解决长文本推理的计算与内存压力 [13][14] - 围绕KV缓存生成、压缩、检索环节优化，并引入SCBench基准测试工具对比性能 [14] - 对比主流LLM供应商的KV缓存技术差异，展望长文本推理未来方向 [15] 阿里云跨层优化实践 - 阿里云李元龙分享从Transformer前向传播到硬件加速的全链路优化 [17] - 整合PyTorch动态图编译、算子优化与CUDA并行计算策略 [17] - 采用动态计算图与稀疏激活模式突破算力瓶颈 [18] AICon大会其他亮点 - 活动涵盖多模态、Agent、端侧智能等前沿技术 [23] - 包括AI原生产品落地、多领域Agent应用、硬件终端创新及多模态大模型实践 [24][25][26] - 50+行业专家解析大模型最新进展 [27]