CityGS-X的构建

CityGS - X 提出了一种可扩展架构，此架构基于并行化混合层次三维表征（PH² - 3D）。它摒弃了传统那种繁琐的合并 - 分区流程，并且首创了批处理级的多任务渲染机制。

开发出动态的、具有多细节层次的体素分配策略，以此来达成显存占用与计算效率之间的平衡。

设计一种渐进式的训练方案，该方案涉及 RGB、深度和法线的联合训练。通过多视角的约束以及与深度先验的协同优化，能够使几何一致性得到显著提升。

PH²-3D的设计

批处理级多任务渲染机制

团队运用批处理级多任务渲染机制。首先把批量渲染的图像分割成 16×16 像素的图块。接着基于 Grendal-GS 的自适应负载均衡策略，将这些图块分配到不同的 GPU 上。

在每块渲染任务里，提出了视角相关的高斯迁移策略。要并行搜索所有 GPU 上各个 LoD 层级的相交体素。然后预测出对应高斯属性（就如公式所展示的那样）。最后将其迁移至任务分配的 GPU 。

随后各区块遵循经典基于瓦片的光栅化并行渲染：

其中N为迁移高斯点数量，π(·)为迁移高斯重排序函数。

同时基于PGSR策略生成当前视角法线图：

批处理级连续性渐进训练

作者提出三阶段渐进式训练策略：

阶段一：批处理级RGB训练

阶段二：增强深度先验训练

最新的单目深度估计器具有平滑连续的表面预测特性，基于此，作者提出了改进方案。

阶段三：批处理级几何训练

实验结果

以下是将本文方法与主流方法的渲染指标进行对比，且本文方法均使用 4 卡 4090。

深度图可视化结果：

在对比试验中，团队将 RGB 渲染、深度渲染与其他方法进行对比。实验表明，在 RGB 渲染方面 CityGS - X 是最优的，并且在这种情况下，其深度图也是最准确的，同时具有更少的浮点以及地面的空洞。

同时对于法线图渲染，CityGS-X也展现出更准确的细节

法线图可视化:

CityGS-X 在整体的 mesh 可视化方面比目前的 SOTA 方法有显著提升。

texture和mesh可视化对比：

时间对比实验结果：

F1分数对比实验结果：

在 MatriCity 数据集上进行定量对比时，CityGS - X 在重建精度方面有显著的提升，并且在训练速度方面也有明显的提升。

论文链接：

项目主页：

项目代码：