0.论文基本信息

·论文标题：Hierarchy UGP：面向大规模动态场景的层级化统一高斯基元重建 | ICCV 2025

·文献类型：Conference 会议论文（研究性论文）

·阅读目的：学习大规模动态场景的层级化3DGS表示方案；理解统一4D高斯基元如何同时兼容静态、刚性动态、非刚性动态元素；掌握子场景拆分、LOD实时渲染的工程范式。

1. 文献核心信息 What‑Why‑How‑Conclusion

1.1 What—— 本文做了什么？

本文针对公里级大规模动态城市场景，提出了Hierarchy UGP（层级化统一高斯基元）树状表示框架，首次实现了大规模动态场景的高保真重建与实时渲染。

方法核心设计为三层树状结构：根层级、子场景层级、基础元素层级组成；所有场景元素统一使用四维空间中定义的统一高斯基础元素（UGP）作为表示。根层级作为进入层次结构的入口，在子场景层级中，场景被空间划分为多个子场景，从中提取出各种元素。在基础元素层级，每个元素使用UGP进行建模，元素的全局姿态由与时间相关的运动先验控制。通过不同属性配置同时适配天空、静态背景、刚性车辆、非刚性行人四类元素。最后还引入了细节级别（LOD）技术，以实现大规模动态场景的实时渲染。

配套提出了分块训练、时间尺度初始化、虚拟视图监督等训练策略；同时发布Dynamic City 数集，覆盖 600 米～1 公里以上的动态街道场景。在自建数据集与Waymo公开数据集上，重建质量、渲染速度均达到SOTA。

1.2 Why—— 研究动机

1）规模瓶颈：现有动态 3DGS 方法大多面向小场景或片段式场景，高斯数量随场景规模线性增长，显存、渲染速度无法支撑公里级大场景。

2）动态建模局限：多数方案只能处理刚性车辆动态，对行人等非刚性物体建模精度差；部分方案依赖SMPL等人体参数模型，泛化性有限。

3）动静表示割裂：静态大场景高斯方案（如 CityGaussian）无法建模动态元素，静态、刚性动态、非刚性动态物体需要不同的高斯基元表述；动态 4DGS 方案又难以扩展到大尺度场景。

缺少一套可扩展、支持实时渲染、同时兼容多类型动态元素的大规模动态场景高斯表示方案。

1.3 How—— 它是怎么做的？

1.3.1 核心表示：4D 统一高斯基元 UGP

将所有场景元素统一表示为四维高斯，完整参数为： 4维均值向量μ（包括空间 xyz 、时间 t）、4 维协方差矩阵、基元的不透明度以及球谐颜色。

• 4D 协方差通过表示尺度的缩放矩阵和两个各向同性四元数参数化，保证半正定性；

• 通过时间切片操作，可在任意时刻 t 将 4D UGP 降为 3D 高斯，用于后续渲染。

整体方法概览

1.3.2 三层层级树结构（核心创新）

自顶向下分为三级，兼顾大规模场景的可扩展性与动态元素的精细建模：

• 根层级 Root Level：整个场景的管理入口，负责子场景的合并与全局渲染调度。
• 子场景层 Sub-scenes Level
  • 按空间将大场景切分为多个子场景，分配对应图像序列，支持并行重建，解决单卡显存不足问题；
  • 每个子场景内提取四类元素：天空、静态背景、刚性物体（车辆）、非刚性物体（行人）；
  • 所有元素在自身局部坐标系内建模，通过随时间变化的运动先验矩阵 M (t)变换到全局坐标系。静态元素运动先验为单位阵；动态物体的位姿由外部跟踪器输出。
• 基元层 Primitive Level针对不同元素特性配置不同 UGP 属性：
  • 背景、刚性物体：时间维度尺度设为无穷大，局部坐标系内不随时间变化，仅靠全局运动先验实现位移；
  • 非刚性物体：根据采集帧率初始化时间尺度参数，通过4D高斯的时间延展拟合形变；
  • 天空：仅优化不透明度与球谐颜色，简化建模。

1.3.3 渲染流程

• 时空投影：给定查询时刻 t，先将4D UGP时间切片得到3D高斯，同时获取该处UGPs 的条件三维均值和协方差，再通过对应元素的运动先验变换到全局坐标系。
• 基元筛选（LOD 层次细节）：从根节点开始自顶向下遍历层级树，根据高斯在成像平面的投影直径判断是否继续下钻直到选择出足够精确的 UGPs 以完成图像渲染；直径小于阈值或无子节点时停止，用当前层级高斯参与渲染，大幅减少参与计算的高斯数量。
• 图像合成：使用球谐函数（SH）计算每个 UGP 的颜色c后，按深度排序后通过 alpha blending 完成可微渲染，输出 RGB 与深度图。

1.3.4 层级构建与训练流程

分三阶段构建完整的层级化场景：

• 初始化： LiDAR点云粗训练得到初始化全局UGP模型，根据空间分区将全局高斯分布分配到各个子场景中，保证子场景间初始一致性。
• 子场景并行优化
  • 每个子场景独立训练，利用每个元素的运动先验，我们在局部空间中对每个子场景内的元素进行建模，随后将其转换到全局空间，以实现联合优化。损失函数 = RGB 损失（L1+SSIM）+ LiDAR 深度损失 + 虚拟 warp 视图损失；
  • 跨子场景的动态物体采用分块物体训练策略，避免子场景边界处的物体重建不一致；
  • 非刚性物体通过时间尺度初始化策略，提升大运动区域的拟合能力。
• 层级构建与合并
  • 每个子场景内自底向上构建 BVH （边界体积层次结构）包围体层次树，叶子节点为细粒度高斯，上层节点为合并后的粗粒度高斯；动态物体固定设为叶子节点保证精度；
  • 相邻子场景采用50%空间重叠的分割策略，在根层级合并后实现无缝拼接，无明显边界伪影。

1.3.5 实验验证

• 数据集：自建 Dynamic City 数据集（公里级城市场景，包含图像、LiDAR数据序列，10Hz 采样）；公开 Waymo 自动驾驶数据集；
• 对比基线：4D-GS、Hierarchical GS、Street GS、OmniRe 等静态或动态大场景方案；

Dynamic City数据集上的插值对比。选取每第10帧作为测试帧。

Dynamic City数据集上的外推性能对比

• 评测指标：内插视角 PSNR/SSIM/LPIPS、渲染 FPS、外插视角 FID；

Dynamic City场景的定量比较。我们选取每第10帧作为测试帧，针对本方法与先前研究在两个大场景和两个子场景上的表现，计算视觉质量指标及每秒帧数（FPS）

Waymo 的定量比较。

在 Dynamic City 数据集上进行的外推对比。我们通过计算 FID 在 Dynamic City 数据集上进行了外推对比。

• 消融实验：验证分块物体训练、时间尺度初始化、虚拟视图监督三个关键模块的增益。 实验结论：在大场景与子场景下均取得 SOTA 渲染质量，尤其在行人等非刚性动态区域提升显著；同时支持实时渲染，大场景下可达 32FPS。

基于块级对象的训练策略消融实验

时间尺度初始化的消融实验

虚拟扭曲视图上的消融实验

1.4 Conclusion

1.4.1 核心结论

• 三层树状 UGP 结构成功解决了大规模动态场景的规模、动态、效率三重矛盾，统一兼容静态、刚性动态、非刚性动态三类元素。
• 子场景并行训练与重叠拼接的工程方案，可将单卡重建能力扩展到公里级场景；配合 LOD 层级筛选，首次实现了大规模动态场景的实时渲染。
• 在自建Dynamic City与Waymo数据集上全面超越现有方案，非刚性动态区域提升尤为明显。

1.4.2 方法现存局限性

• 动态物体依赖外部跟踪器提供运动先验，跟踪误差会直接传导到重建质量；
• 非刚性形变仅通过4D高斯的时间尺度拟合，精细的肢体动作还原度弱于参数化人体模型；
• 属于离线重建方案，需要完整序列输入，不支持在线增量SLAM；
• 依赖 LiDAR 点云做初始化，纯视觉输入下的初始化方案未验证。

1.4.3 未来方向

• 引入在线跟踪与增量建图，实现端到端动态大场景 SLAM；
• 结合语义先验进一步提升非刚性物体的建模精度；
• 拓展到更复杂的自然场景、室内外混合场景。

2. 读后4问

2.1 这篇论文有什么局限性？

① 强依赖外部跟踪器与 LiDAR 点云，跟踪失败、点云稀疏的场景性能会明显下降；

② 非刚性动态仅靠 4D 高斯时间维度建模，只能拟合输入序列内的运动，不支持驱动式动画生成；

③ 离线重建范式，需要完整的序列数据与标定好的位姿，不是在线SLAM系统；

④ 主要验证城市场景，对弱纹理、无明显物体边界的自然场景适配性未验证。

2.2 有什么值得我学习的地方？

①工程范式价值极高：空间分子场景并行训练、重叠区域拼接、自底向上构建 BVH 层级以及LOD 实时渲染的这套流程，是大规模高斯场景的标准工程解决方案，几乎所有大尺度重建任务都可以参考复用。

②统一表示的设计思路：用一套 4D 高斯通过配置不同属性，同时覆盖静态、刚性动态、非刚性动态，避免多套表示带来的兼容问题，设计简洁。

③ 虚拟warp视图监督的策略，有效提升新视角外插的渲染质量，是小成本大收益的训练 trick；

④ 分块物体训练策略，解决了动态物体跨子场景的一致性问题，工程考虑非常细致。

2.3 有什么我没搞懂、需要追问的？

① 跨子场景的动态物体，分块训练后如何保证物体外观、几何的全局一致性？

② BVH 树上层的粗粒度高斯，通过子节点加权合并得到，如何保证层级切换时渲染没有闪烁、跳变？

③ 如果去掉外部跟踪器，仅靠 4D 高斯自身能否学习到刚性物体的运动？

④ 对于隧洞这种长条带状大场景，空间划分的最优粒度、重叠比例该如何设置？

2.4 这篇论文跟我的研究有什么关系？

核心参考：

1）对于大型场景重建任务，可直接借鉴其工程框架，解决大场景显存与速度瓶颈；

2）动静分离、动态物体独立建模的思路，可用于存在移动设备以及人员的隧洞、工地场景重建；

3）该方法和之前的WildGS-SLAM形成互补：前者靠不确定性做动态剔除，本文靠层级化表示做动态精细建模。差异点在于本文是离线重建，依赖LiDAR与外部跟踪器，和在线SLAM的应用场景不同；可以主要面向城市场景等弱纹理场景需要针对性调整。

结合之前读的 PLSG-SLAM（弱纹理线特征增强）、WildGS-SLAM（动态不确定性剔除），再加上本文的大规模层级化方案，三者的思路可以组合适配大尺度弱纹理结合偶发动态重建场景。

3. 个人小结

Hierarchy UGP 是大规模动态 3DGS 方向非常扎实的一项工作，核心贡献不是提出了全新的高斯表示，而是用工程化的层级设计，系统性解决了大规模、动态元素、实时渲染三个长期并存的矛盾。

它的思路非常符合直觉：大场景拆小并行算，不同元素用最合适的属性配置，渲染时用LOD按需加载。整套方案每一步都踩在大规模场景重建的痛点上，可复现性、可扩展性都很强。 对大尺度重建场景来说，这篇的工程参考价值远大于理论价值。尤其是子场景拆分、重叠拼接、BVH 层级构建、LOD 渲染这一整套流水线，可以尝试直接迁移到长条带状 / 大范围静态场景的重建中。

本文属于大规模动态三维重建方向。核心可复用的是层级化、分块并行的工程框架；动态物体建模部分可按需借鉴，隧洞场景核心需求还是静态大尺度的高精度、高效率重建。后续可以重点关注将这套层级方案和 SLAM 增量建图结合的工作。

4.【预留追加区】