近日，摩尔线程开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU，聚焦万卡级集群的万亿参数MoE模型训练需求，覆盖预训练与强化学习两大场景，为开发者提供面向MUSA平台的训练适配与系统优化能力。
目前，Megatron-MUSA-Titan已在摩尔线程万卡级集群的万亿参数MoE模型预训练中持续应用，经过长时间训练实践检验，实现高MFU（模型算力利用率）与长稳训练，同时支持与slime、miles强化学习框架协同，结合Megatron训练与SGLang样本生成，构建贯通万亿参数MoE预训练与强化学习的训练基础。
训练基础设施连接集群硬件算力与大模型研发流程，是支撑大规模训练系统的基石。此次开源将摩尔线程的系统优化能力与工程积累向社区开放：项目贴近Megatron生态，开发者可沿用熟悉的训练配置与开发方式，在摩尔线程全功能GPU上开展预训练与强化学习研发，降低迁移与使用成本，进一步拓展国产GPU在大模型训练场景中的应用。
优化系统协同，释放万卡级集群效率
万亿参数模型训练的挑战贯穿计算、通信、显存和流水线调度四个方面：低精度算力的利用程度影响计算效率；专家并行和流水线并行带来大量数据传输，增加通信开销；训练过程中保存的中间激活占用大量显存，导致显存OOM（Out of Memory）或者需要引入严重影响效率的重计算；大规模MoE训练会出现负载不均衡，造成专家并行与流水线并行的通信等待，进一步拉长训练耗时。在万卡级集群的万亿参数MoE训练中，以上问题相互交织，任何一个环节的瓶颈都可能制约集群的训练效率。
Megatron-MUSA-Titan围绕上述环节进行系统协同优化，让GPU计算、数据传输与显存使用更紧密地配合，并提供覆盖各项优化的启动训练脚本。
▼ blockwise FP8训练，发挥低精度计算优势。基于MT-TransformerEngine，Megatron-MUSA-Titan支持blockwise FP8训练，将摩尔线程全功能GPU的低精度计算能力引入训练流程，提升大规模训练中的计算效率。
▼ MoE通信优化，减少专家并行通信开销。结合DeepEP与ACE异步通信引擎，加速MoE中的Token分发与结果合并，并实现专家并行（EP）与计算的通算重叠，让数据交换与计算任务协同执行，提升端到端训练效率。
▼ 激活卸载，优化大模型显存使用。针对万亿参数MoE训练过程中大量中间激活占用显存的问题，Megatron-MUSA-Titan实现了基于VPP/1F1B调度的激活卸载（Activation offload），可以在不损失性能的情况下降低GPU显存压力。
▼ 流水线通算重叠，减少流水线空泡等待。在流水线并行维度，基于Mooncake RDMA实现流水线阶段间的激活与梯度传输，并结合VPP调度实现通信与计算重叠，减少跨阶段数据传输的等待。
这些能力分别作用于计算、通信、显存与流水线调度环节，共同服务于一个目标：让万卡级集群中的各类资源得到更充分地利用，为万亿参数模型训练提供高效的系统支撑。
贯穿单卡与集群，定位训练性能瓶颈
系统优化的效果需要准确度量才能持续改进。集群规模越大，影响整体效率的因素越多：单个算子的耗时、通信链路的等待、流水线中的空泡以及少数慢节点，都可能成为瓶颈。
摩尔线程自研的分布式性能分析工具Distributed Holistic Trace Analysis，支持对分布式训练的PyTorch Trace进行分析，覆盖算子开销、通信开销、流水线空泡与慢节点定位，并提供流水线并行的关键路径分析，帮助开发者将性能现象关联到具体执行环节。
相关工具已应用于万卡级集群上的万亿参数MoE模型训练的性能分析与优化，可在30分钟内完成万亿参数模型的性能分析，帮助研发团队更有针对性地识别瓶颈、调整配置并验证优化效果，为超大规模训练提供可观测、可分析的工程支持。
共用训练基础，贯通预训练与强化学习
预训练构建模型的基础能力，强化学习则通过生成、反馈与策略更新，推动模型能力进一步提升。两个阶段的任务组织方式有所不同，但都依赖高效的模型训练、分布式通信与显存管理。
Megatron-MUSA-Titan将面向MUSA平台的Megatron系统优化作为共享训练基础，为预训练与强化学习提供可复用的训练能力。
▼ 在预训练场景中，Megatron-MUSA-Titan承担万亿参数MoE模型的训练，支撑前述各项系统优化落地。
▼ 在强化学习场景中，Megatron-MUSA-Titan支持与slime、miles强化学习框架协同：由Megatron-LM承担模型训练，结合SGLang的MUSA后端完成Rollout样本生成，两个阶段共用同一套训练基础。开发者可延续已有的Megatron使用经验，将训练侧的优化积累同时应用到预训练与强化学习研发中，减少重复建设，更专注于模型、数据与训练策略的迭代。
共建开源生态，开放训练实践
训练能力的持续供给，离不开与开源生态的协同演进。Megatron-MUSA-Titan采用贴近官方的设计思路：与特定设备无关的算法实现、性能优化和问题修复积极合入官方社区，仓库内仅保留与MUSA相关的改动，让摩尔线程GPU上的训练能力持续跟随社区演进。
这一设计直接体现在开发者的使用方式上。依托Torch-MUSA对PyTorch的集成与MUSA软件栈的兼容能力，开发者可结合Megatron-LM、slime、miles官方仓库开展训练，复用社区已有的模型实现、训练流程与配置选项，官方代码无需修改即可在摩尔线程全功能GPU上运行，获得一致的开发体验。目前，MUSA已合入slime与RL-Kernel的main分支，相关优化成果与社区共享。
目前，Megatron-MUSA-Titan仓库已提供项目文档、特性说明，以及主流模型的预训练配置示例，为开发者了解训练方案、开展环境适配与集群调优提供参考。欢迎开发者参与项目，通过Issue交流使用反馈，通过Pull Request贡献代码与文档，共同完善面向大模型预训练与强化学习的MUSA基础设施。
未来，摩尔线程将持续完善MUSA平台的大模型训练能力，加强与训练框架、强化学习框架和开源社区的协同演进，携手开发者、合作伙伴和开源社区，共同推进国产全功能GPU大模型训练生态的繁荣发展。
