昇腾算力炼出业界一流大模型,美联储官员“放鹰”：或需在很长一段时间内按兵不动！,　　在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上，高效打通大稀疏比MoE强化学习稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。此外，他们还提出了 EP loss负载优化方法，这一设计不仅保证了各个专家之间的能保持较好的负载均衡，也提升了专家的领域特化能力。同时，盘古Ultra MoE使用了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。　　训练超大规模和极高稀疏性的 MoE 模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿 MoE 模型的全流程训练。。