Apr, 2024
StyleCity: 基于视觉和文本参考的渐进优化大规模 3D 城市场景风格化
StyleCity: Large-Scale 3D Urban Scenes Stylization with Vision-and-Text Reference via Progressive Optimization
Yingshu Chen, Huajian Huang, Tuan-Anh Vu, Ka Chun Shum, Sai-Kit Yeung
TL;DR通过图像和文本作为参考，StyleCity 能够以语义意识的方式对大规模城市场景的三维纹理网格进行风格化，并生成谐和的全方位天空背景。通过将 2D 视觉和文本先验转移到 3D 全局和局部，StyleCity 逐步缩放输入 3D 场景的计划训练视图以保留高质量场景内容，并通过调整样式图像的比例和训练视图的比例来全局优化场景风格。此外，通过语义感知的样式损失提高局部语义一致性，并采用生成扩散模型合成样式一致的全方位天空图像，从而提供更沉浸式的氛围，并助力语义风格化过程。实验结果表明，我们的风格化场景在定性和定量性能以及用户偏好方面表现出卓越性能。