【万字硬核】微软 & NVIDIA 联合巨作《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B》全方位技术解析··研究笔记 研究笔记 LLM
MoE数据特征、训练和推理的通信特点、基于NVLink/Scale Up那些Feature，DeepSeek的DeepEP和对MoE All-to-All数据的处理··研究笔记 研究笔记 LLM AI Infra