高性能计算以太网发展现状 - 高性能计算以太网(HPC)通过降低延迟和最大化带宽实现计算节点间快速通信，但AI工作负载对网络架构的稳健性和可扩展性提出更高要求[1] - 超级以太网联盟(UEC)已通过超级以太网规范1.0，推动以太网通信路径发展以满足AI/HPC系统需求[1] - 当前行业面临运营成本高、可扩展性差及性能限制等问题，硬件潜力受低效存储系统制约[1] AI工作负载带来的网络挑战 - AI处理器性能受限于数据访问延迟，模型规模增速远超常规干预措施承受范围[2] - 实时分析类AI应用高度依赖HPC基础设施对数据集的高效处理能力[2] - 异构架构(CPU+ASIC+GPU)集成导致互连不匹配，未优化的互连和内存层次结构造成额外延迟[2] 网络技术演进历程 - 10GbE网络在2000年代被视为HPC终极方案，但当前25/40GbE已无法满足高带宽需求[4] - IT专业人员开发的双25Gb RDMA通道设计实现50Gb/s总带宽，但2025年带宽需求预计比2017年高55倍[4] - IEEE P802.3df任务组开发800GbE并行结构，支持200/400/800GbE八通道端口配置[4] 网络优化解决方案 - 动态负载均衡算法通过实时流量重分配缓解节点拥塞，在HPC多应用环境中效果显著[5] - 数据集的战略性放置可减少延迟，AI工作负载需采用基于算法的动态放置策略[5] - 基础设施扩展需同步提升性能与容量，避免系统臃肿和延迟问题[5] 未来发展趋势 - AI模型规模扩大将持续驱动新型计算硬件研发，计算需求和数据集规模将呈指数级增长[6] - 行业需开发面向未来的HPC网络解决方案以应对不可避免的技术演进[6]

以下文章来源于码农翻身 ，作者liuxin 码农翻身 . 一个技术和职场的宝藏博主 大概是2009年，我和两个好哥们聊天，觉得智能手机可能是风口，商量着要弄一个照片分享网站。 用户可以用手机把随手拍的照片放到网上分享，名称都起好了，叫 InstantPost 。 可是我们的执行力太差了，聚了两次，做了一点儿技术验证，就没有下文了。 过了几年，我看到美国一个叫Instagram的火了，不由地一拍大腿：卧槽！这不就是我们当年要做的事儿吗？！ 后来我看到Instagram初期的故事，他们也是三个程序员， 从2010年10月到2011年12月，在一年多的时间内，就把用户数量从0增长到了1400 万！ 看完他们的架构设计，我就释然了，抛开执行力，在2009年那个时间点，我们确实不行。 负载均衡 Instagram制定的架构指导准则是： 所以早期的Instagram跑在云上，使用 EC2 和 Ubuntu Linux 11.04 。 接下来，站在一个用户会话(Session)的角度，来看看Instagram的处理过程。 1.保持简单 2.不要重新发明轮子 3.尽可能使用经过验证的可靠技术 前端 Session：用户打开了 ...

" 一半以上训练时间都浪费在了 「 等待 」 。 " 作者丨李希 随着大模型的迅猛发展，混合专家（ MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要方 向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模型参数 的规模化扩展，更在处理复杂任务时展现出显著优势。然而， 将 MoE模型在分布式集群环境下进行训练 时，训练效率不足，已成为亟待解决的难题。 01 MoE大规模训练难题：一半以上的训练时间在等待？ 华为构建了名为 AutoDeploy 的 仿真平台 ，它是一个 基于昇腾硬件训练系统的 "数字孪生"平台，通过 计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术， 能在 1 小时 内模拟 百万次训练场景 ， 实现 MoE模型多样化训练负载的快速分析 和自动找到与 集群硬件规格 匹配的最优策略选择。在训练实践验证中，该建模框架可达到 90%精度指标 ，实现低成本且高效的最优 并行选择。 针对 Pangu Ultra MoE 718B 模型，在单卡内存使用约束下，华为通过 AutoDeploy 以训练性能为目标 找到了 TP8/ ...

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 昨天的文章已经提到，昇腾超大规模MoE模型推理部署技术在本周会有持续的技术披露，果然第二天的技术报告又如期而至了。前情提要： 《华为 +DeepSeek，推理性能创新高！技术报告也公布出来了》 要问最近哪个模型最火， 混合专家模型 （MoE，Mixture of Experts）绝对是榜上提名的那一个。 它的巧妙之处，就在于把不同的任务分配给擅长处理的 专家网络 ，让整个系统性能得以提升。 但你知道吗？ 正是这个关键的专家网络，也是严重影响系统推理性能的因素之一。 因为在大量任务来临之际（尤其是超大规模时），MoE并不是以"雨露均沾"的方式去分配——专家网络们的 负载均衡问题 ，就会显得尤为 突出。 这个问题的根源，是因为某些专家网络总是被频繁调用（ 热专家 ），而另一些专家网络则鲜有机会派上用场（ 冷专家 ）。 没错，MoE里的"专家们"也是有冷热之分的，而且被调用频率的差距甚至可以达到 一个数量级以上！ 如此负载不均衡的现象，就会导致整个系统推理的时间被延长，以及还有资源利用率、系统性能受限等问题。 那么此局又该如何破解？ 别急， 华为团队 已经给出了 ...

文章核心观点 北京国电通网络技术有限公司和国网信息通信产业集团有限公司于2024年12月申请“一种基于负载均衡的与外部系统统一数据交互的装置”专利，该装置可实现数据高效交互、容错和管理，适用于复杂业务场景，同时介绍了两家公司的基本信息[1][2] 专利信息 - 北京国电通网络技术有限公司和国网信息通信产业集团有限公司申请“一种基于负载均衡的与外部系统统一数据交互的装置”专利，公开号CN119892740A，申请日期为2024年12月 [1] - 该装置包括数据交互服务管理模块、定时器模块、业务优先级调整模块、数据处理模块和数据重置模块，通过智能负载均衡算法动态调整扫描频率和任务优先级，结合数据处理与重置模块实现数据高效交互、容错和管理，提高系统资源利用率、任务处理效率及稳定性，适用于复杂业务场景 [1] 北京国电通网络技术有限公司信息 - 公司成立于2000年，位于北京市，以从事专业技术服务业为主，注册资本73000万人民币 [1] - 公司共对外投资4家企业，参与招投标项目1978次，有商标信息66条，专利信息943条，拥有行政许可21个 [1] 国网信息通信产业集团有限公司信息 - 公司成立于2015年，位于北京市，以从事软件和信息技术服务业为主，注册资本1502231.015155万人民币 [2] - 公司共对外投资41家企业，参与招投标项目5000次，有商标信息311条，专利信息4572条，拥有行政许可7个 [2]

在24小时统计时段内，DeepSeekV3和R1：输入token总数为608B，其中342B tokens（56.3%）命中KVCache硬盘缓存。输出token总数为168B。平 均输出速率为20~22tps，平均每输出一个token的KVCache长度是4989。平均每台H800的吞吐量为：对于prefill任务，输入吞吐约73.7k tokens/s （含缓存命中）；对于decode任务，输出吞吐约14.8k tokens/s。如果所有tokens全部按照DeepSeek R1的定价计算，理论一天的总收入为 $562,027，成本利润率545%。 实际利润率： 上述利润率测算仅基于理论，DeepSeek实际利润率将明显低于上述水准，具体原因如下： 标题： DeepSeek官方发布的《DeepSeek-V3/R1推理系统概览》文章显示，假定GPU租赁成本为2美元/小时，DeepSeek V3/R1推理系 统的日均成本为87072美元。然而，若按照DeepSeek R1的定价计算，其单日理论收入竟高达562027美元，成本利润率因此达到了惊人 的545%。 结论： 利润率 500% 怎么计算的？ 欢迎指正！ ...