本文介绍了SemanticPaint的实时开源实现，它能够实现几何重建、对象类别分割和3D场景学习；用户可以在佩戴深度相机和虚拟现实头戴设备的情况下，与真实场景进行物理交互并为场景中的对象分配标签，使用在线随机森林机器学习算法对先前未见过的场景部分进行预测，整个过程在实时运行中实现。

Oct, 2015

本研究提出了一种基于语义引导和评估网络的图像修复算法，该算法在每个缩放级别利用语义分割图指导图像修复过程，并利用迭代更新方法实现结构先验和图像修复的协同更新，实验结果表明该方法在图像纹理清晰度和真实感等方面具有优越性。

Mar, 2020

本文提出了一种基于预训练任务和语义先验的图像修复方法，通过预处理任务学习语义先验并将其适应于图像修复，提出了一种上下文感知的图像修复模型，全面融合全局语义和局部特征，实现了对Places2，CelebA和Paris StreetView数据集的最新技术水平。

Jun, 2021

本文针对 3D 形状的纹理表达问题，提出了基于 2D 对齐 UV 映射的 AUV-Net 方法来实现纹理表达对齐，进而方便实现纹理传输、合成和重建。

Apr, 2022

本文提出了一种名为PhotoScene的框架，可以基于输入图像及与之大致对齐的CAD几何形态数据（自动重建或手动指定），构建具有高质量材质和相似照明的逼真数字孪生体。该框架采用过程材料图模型建模场景材料，可以优化图参数和纹理比例、旋转，以及场景光照度以最佳匹配输入图像。文中还对该技术进行了评估，并展示了该方法对于来自ScanNet、SUN RGB-D和证券照片的对象和布局重建可以重渲染出高质量、可完全照明的3D场景。

Jul, 2022

本文提出了一种高效的多视角逆向呈现方法，可以重建大规模室内场景的全局间接光照和物理合理的SVBRDF，通过所提出的Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示，并基于TBL提出了一种预计算辐照度的混合光照表示，通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义，实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法，并启用了物理合理的增强现实应用，如材质编辑，可编辑的新视角合成和重新照明。

Nov, 2022

本文介绍了一种新颖的粗细生成框架Paint3D，它能根据文本或图像输入，为未纹理化的3D网格生成高分辨率、无光照且多样化的2K UV纹理贴图。该方法通过利用预训练的深度感知2D扩散模型生成视图条件图像，并进行多视图纹理融合，得到初步的粗糙纹理贴图。然后，通过训练专门用于修复不完整区域和消除光照伪影的UV修复和UVHD扩散模型，解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程，Paint3D能够生成保持语义一致性且无光照的高质量2K UV纹理，从而显著推动了3D物体纹理制作的现状技术。

Dec, 2023

本文提出了一种新颖的逆向色调映射方法，通过基于语义感知的扩散补全方法在遮罩区域中生成丢失的剪切区域的细节，并借鉴传统的HDR成像和曝光方法，提出了一种与生成式补全方法兼容的将SDR补全区域提升为HDR图像的原则式公式。结果表明，我们的方法在客观指标上展现出卓越的性能，并且主观实验表明，所提出的方法在视觉保真度方面与最先进的逆向色调映射算子相匹配（在大多数情况下超越）和超过它们。

May, 2024

提出了名为RoomTex的粗糙到精细的三维场景纹理框架，用于生成高保真度和样式一致的纹理，以应对复合场景网格的纹理问题。

Jun, 2024

本研究解决了深度信息与视觉之间的模态差异问题，该问题影响了语义分割的准确性。论文提出了一种深度引导的纹理扩散方法，通过提取边缘和纹理的低级特征生成纹理图像，并在深度图上进行选择性扩散，从而增强结构信息。这种方法整合了丰富的深度图和原始RGB图像，显著提升了语义分割的准确性，并在多项任务中展示了优于现有基线的新成果。

Aug, 2024