通过基于二维显微图的条件扩散生成模型 (DGMs) 的空间连接，我们提出了一个重建各向异性微结构的框架，该框架能够有效地将噪声转化为三维微结构样本，并且通过修改的协调抽样方法提高样本质量，同时保持各向异性微结构样本在三维空间中的空间连接。验证结果表明，该框架能够再现材料相的统计分布和三维空间中的材料性质，凸显了该二维至三维重建框架在建立微结构 - 性能关联中的潜在应用，为未来研究中的高通量材料设计提供了帮助。

Dec, 2023

通过使用非衍射光束进行体积光学显微镜法，我们提出了 MicroDiffusion 工具，用于从有限的 2D 投影中进行高质量的、深度解析的 3D 体积重建。该方法融合了 INR 模型的结构连贯性和 DDPM 模型的细节增强能力，通过将 INR 和噪声输入之间的线性插值来指导 DDPM 的生成过程，从而提高了扩散过程的结构化 3D 信息，增强了本地化 2D 图像的细节，并在生成的 3D 重建中显著提高了保真度。

Mar, 2024

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024

该研究提出了一种集成多尺度特性和生成对抗网络的创新生成模型，用于重建三维微结构，提高模型的准确性，并通过结合图像正则化损失和 Wasserstein 距离损失进一步改进模型，实现了生成的三维结构与真实样本的高相似性和统计数据一致性。

Feb, 2024

我们提出了一种新颖的 3D 生成方法 DMV3D，该方法使用基于变压器的 3D 大型重建模型对多视差扩散进行去噪。我们的重建模型采用了三平面 NeRF 表示，并且可以通过 NeRF 重建和渲染对嘈杂的多视差图像进行去噪，能在单个 A100 GPU 上实现约 30 秒的单阶段 3D 生成。我们使用大规模多视差图像数据集训练 DMV3D，仅使用图像重建损失，而不访问 3D 资产。我们展示了在需要对未见过的物体部分进行概率建模以生成具有清晰纹理的多样重建的单图像重建问题上的最新成果，以及优于以往的 3D 扩散模型的高质量文本到 3D 生成结果。我们的项目网站位于此 https URL。

Nov, 2023

本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。

Nov, 2022

本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。

Mar, 2023

Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

Apr, 2024

利用多视角深度，通过 MVDD 扩展扩散模型以生成高质量的 3D 形状，并通过增强视图之间的一致性及深度图对齐来提供卓越的 3D 形状生成和深度完成能力，以及作为下游任务的 3D 先验。

Dec, 2023

提出了 GCDM 模型，该模型采用几何完整的消息传递图神经网络，在 DDPM 框架内宣称新的 3D 分子扩散生成的最新成果，并提供了与分子 DDPM 生成动态相关的物理归纳偏差的初步见解。

Feb, 2023