OccFusion：利用生成扩散先验渲染被遮挡的人体
我们提出了基于 3D 高斯散射的 OccGaussian 方法，其可在 6 分钟内进行训练，并且以高质量 160FPS 渲染具有遮挡输入的人体场景。通过在标准空间中初始化 3D 高斯分布，并在遮挡区域进行遮挡特征查询，提取聚合的像素对齐特征来弥补丢失的信息，然后我们使用高斯特征 MLP 进一步处理特征，并结合面向遮挡区域的损失函数来更好地感知遮挡区域。大量的实验结果表明，我们的方法在模拟和真实世界遮挡场景中实现了与最先进方法相媲美甚至更优的性能，且训练和推理速度提高了 250 倍和 800 倍，我们的代码将提供给研究目的使用。
Apr, 2024
通过单目视频输入的方法，本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法，使用新兴的 3D 高斯涂布（3D-GS）表示法来表达世界和多个人物，解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战，并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物，并且在重构后，该方法可以以任意时间片段渲染场景并编辑 3D 场景。
Apr, 2024
我们提出了一种新的神经渲染方法 OccNeRF，通过整合几何和可见性先验，实现了在严重遮挡场景中更好地渲染人类形象。我们验证了该方法在模拟和真实遮挡情况下的优越性。
Aug, 2023
通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。
Jun, 2024
本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。
Aug, 2023
通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。
Jun, 2024
通过利用预训练的文本到图像扩散模型中嵌入的物体结构和空间关系的悠久经验规则，DPMesh 创新性地提出一种处理受遮挡人体网格的框架，通过无缝集成预训练的去噪 U-Net 模型，结合有效的 2D 观测条件注入，以及专用噪声关键点推理方法，实现了具有准确性和鲁棒性的三维人体网格恢复。
Apr, 2024
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian，通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。
Nov, 2023
通过 Wild2Avatar，在遮挡的自然单目视频中呈现出移动人物的视觉外观，该方法通过将场景分解为遮挡、人物和背景三个部分，设计广泛的客观函数以帮助实现人物与遮挡和背景的解耦，并确保人体模型的完整性，通过在自然环境下进行实验证明了该方法的有效性。
Dec, 2023