• 人工智能
• 大模型
• 深度学习
• 预训练
• 微调
• LoRA
• 分布式训练
• 模型优化

LoongForge 是由百度百舸团队开源的高性能大模型训练框架，覆盖 LLM、VLM、扩散模型与具身智能模型，在 NVIDIA GPU 和昆仑芯 XPU 上均可训练，实测最高可获得5.04 倍训练吞吐加速。本文将带你快速看懂：它凭什么加速、加速多少、新手如何三步跑通第一次训练。

一、LoongForge 是什么？

LoongForge 是一个"开箱即训"的开源训练框架：

• 全模态覆盖：支持 LLM（DeepSeek-V3/V4、GLM-5.3、Kimi-K3、Qwen3、MiniMax 等）、VLM（Qwen2.5-VL、Qwen3-VL、InternVL 等）、扩散模型（Wan2.1/2.2）以及具身智能模型（Pi0.5、GR00T、FastWAM、Cosmos3、DreamZero 等）；
• 双后端架构：基于 Megatron-LM 的 Megatron 后端服务 LLM/VLM/扩散模型，原生 PyTorch 后端（DDP / ZeRO-1 / FSDP / HSDP）服务具身模型；
• 双硬件支持：一套代码同时支持 NVIDIA GPU 与昆仑芯 XPU；
• 生产级验证：脱胎于百度智能云 AIAK-Training-LLM，生产环境已支撑 5000+ XPU 规模训练，并助力 LLaVA-OneVision 等多个开源模型训练发布。

二、性能实测：最高 5.04 倍训练吞吐加速

LoongForge 与主流开源基线在同机型、同训练超参数下对比，各模型实测训练吞吐加速如下：

注：DeepSeek-V3.2 Lite 的加速主要体现 DSA 算子级优化，因测试床规模限制，采用减层配置验证。数据为某时点实测，可能随双方实现演进而变化。

快而不"飘"：训练 Loss 与基线高度对齐

加速的前提是不牺牲训练质量。以 4.38× 加速的 DreamZero（Wan2.2-5B）为例，社区基线每步约 2.80s，LoongForge 仅 0.64s，而两侧训练日志与 Loss 曲线逐点对齐：

更多模型的 100 步 Loss 对齐数据（100-step MARE 最低仅 0.0262%）：

三、核心特性解析：加速从哪来？

1. LLM：MoE 并行优化 + 自适应 FP8

• MoE EP 通信优化：All2All 通信与计算/激活 Offload 深度重叠，比上游 Megatron-LM 进一步降低显存（详见 docs/source/features/moe_all2all_overlap.md）；
• MoE 专家负载均衡（TAOT）：拓扑感知的热点专家动态复制，消除 EP 负载不均，实测开销最高降低 74%、端到端提速 1.43×；
• 自适应 FP8 训练：LLM/VLM 端到端 FP8，可选"按 GEMM 形状自适应选精度"模式（docs/source/features/adaptive_fp8.md）；
• 长序列训练：Context Parallel（CP）+ 分段流水线调度，支撑 8K+ token 长序列预训练。

2. VLM：异构并行 + DP 负载均衡

• 灵活组合：ViT 与 LLM 组件通过 YAML 配置直接拼装出新模型（如 GLM-5.2 + MoonViT），无需写模型代码（docs/source/features/model_combination.md）；
• 组件级异构并行：ViT 与 LLM 可分别设置 TP / DP / 重计算 / 冻结策略，吞吐量与显存收益兼得；
• DP 负载均衡：针对 sequence packing 造成的多机数据不均做负载感知重分布，DP512 场景下吞吐差距从 635 提升到 694 TGS（+9.2%）：

3. 具身模型：按模型深度定制优化

LoongForge-Embodied 提供数据处理 → 训练 → 评测全链路：统一数据加载（LeRobot v2.0/v2.1/v3.0）、特征缓存预计算、DDP/ZeRO-1/FSDP/HSDP 多种分布式策略，以及torch.compile、CUDA Graph、自定义融合算子、FP8 通信压缩等按模型瓶颈定制的优化，最终实现1.79×–4.38×吞吐提升。团队还开源了 LoongForge-VLDA（LIBERO 98.5%）与 ego2robot 数据管线（见 cookbook/loongforge-vlda/）。

4. 扩散模型：上下文并行 + 样本打包

Wan 2.2 训练提速116%：支持 Ring / Ulysses / 混合 Context Parallel 切分长视频序列，并将多个变长视频样本打包进单条序列以减少 padding 浪费（docs/source/features/）。

5. 工程友好：检查点转换与硬件兼容

• Mcore Bridge：支持 Megatron ↔ HuggingFace 离线双向转换，也支持在线原生 HF 加载/保存（tools/mcore_bridge/），HF 权重可直接开训；
• 40+ 模型开箱即用：每个模型都提供预训练 / SFT / 检查点转换脚本（examples/ 为 NVIDIA GPU 版，examples_xpu/ 为昆仑 XPU 版），模型参数配置集中在 configs/models/。

四、新手快速上手：3 步跑通第一次训练

第 1 步：克隆仓库并拉取 Docker 镜像

git clone --recurse-submodules https://gitcode.com/baidu-baige/LoongForge.git

所有模型家族（LLM / VLM / 具身 / 扩散）共用同一个预构建镜像：

docker pull loongforge/loongforge:latest mkdir -p workspace docker run --gpus all --ipc=host -it --rm \ -v "$(pwd)/workspace:/workspace/data" \ -w /workspace/LoongForge \ loongforge/loongforge:latest bash

挂载的./workspace用于存放权重、数据集与训练输出，容器退出后依然保留。

第 2 步：准备权重与数据集

以 Pi0.5 为例（hf为 Hugging Face CLI）：

hf download lerobot/pi05_base --local-dir /workspace/data/pi05_base hf download google/paligemma-3b-pt-224 --local-dir /workspace/data/paligemma-3b-pt-224 hf download lerobot/libero_10 --repo-type dataset --local-dir /workspace/data/libero_10

第 3 步：一条命令启动训练

export CHECKPOINT_PATH=/workspace/data/pi05_base export TOKENIZER_PATH=/workspace/data/paligemma-3b-pt-224 export DATA_PATH=/workspace/data/libero_10 export OUTPUT_DIR=/workspace/data/outputs/pi05 bash examples/embodied/pi05/run_pi05_ddp_finetune.sh

日志与 TensorBoard 数据保存在OUTPUT_DIR；其余模型只需替换对应脚本，例如 DeepSeek-V3 预训练见 examples/deepseek_v3/pretrain/。并行策略（TP/PP/CP/EP）与显存优化的完整开关速查，可参考 docs/source/get_started/optimization_guide.md。

五、总结：谁适合用 LoongForge？

如果你想把训练周期从"以周计"压缩到"以天计"，LoongForge 值得纳入你的技术选型清单——先跑一个 8 卡小实验，吞吐数字会直接说服你。🚀

• 人工智能
• 大模型
• 深度学习
• 预训练
• 微调
• LoRA
• 分布式训练
• 模型优化