ICMLApr, 2023

FAENet：材料建模的帧平均等变图神经网络

PDF
TL;DR本文介绍了一种基于随机框架平均（SFA）的灵活框架，通过数据转换使任何模型 E（3）- 等变或不变，并提出了一个快速、表达力强且没有对称性约束设计的图神经网络 FAENet。我们在材料建模和常见分子建模任务中理论和实验表明了本方法的有效性和优越性。
machine learningmaterials modelinggraph neural networkssymmetriesflexible framework
发现论文，激发创造
  • 面向几何感知的重建与融合优化渲染的可泛化神经辐射场

    Generalizable NeRF 通过建立基于方差的代价体来重建几何结构并通过编码解码来生成新的视图，引入自适应代价聚合、空间 - 视图聚合和一致性感知融合等方法来改进现有方法在复杂条件下的性能。

    Apr, 2024

  • NeRF 注意力机制的端到端视图合成

    本文提出了一种基于 NeRFA 的 seq2seq 形式，用于视图合成，在四个数据集上优于 NeRF 和 NerFormer，并在单场景视角合成和类别中心的新视图合成两个方面取得了最新技术成果。

    Jul, 2022

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • MA-NeRF：基于动作协助的神经辐射场技术，用于从稀疏图像合成人脸

    本文提出了一种新的框架，即结构位移特性和语义感知学习模块，来改进 NeRF 的不足之处并成功处理未见过的表情，实现了从稀疏图像中合成逼真的三维人脸形象，并在定量和定性上比当前艺术水平领先。

    Jun, 2023

  • ArtNeRF: 一种用于 3D 感知的卡通化人脸合成的风格化神经场

    ArtNeRF 是一种从三维感知生成对抗网络 (GAN) 派生的新型人脸风格化框架，通过利用表达能力强的生成器合成风格化人脸，并利用三分支鉴别器模块改善生成的人脸的视觉质量和风格一致性，通过对比学习实现一个基于风格编码器来提取风格图像的稳健低维嵌入，以赋予生成器对各种风格的知识，并通过自适应风格融合模块平滑跨域迁移学习的训练过程，实现了图像的高分辨率实时渲染。大量实验表明，ArtNeRF 在生成任意风格的高质量三维人脸方面具有通用性。

    Apr, 2024

  • 单张图像的神经外观建模

    我们提出了一种材料外观建模神经网络，用于可视化根据多样的视角和光照条件，在只有一张材料的照片作为输入的情况下，对合理的、在空间上有变化的材料进行外观估计。我们的神经结构由两个网络阶段组成：一个网络从单个输入照片中推断材料的每一像素的学习到的神经参数，和一个利用这些神经参数渲染材料的网络，类似于 BRDF。我们在一组 312,165 个合成的空间变化范例上训练我们的模型。由于我们的方法推断学习到的神经参数而不是分析的 BRDF 参数，我们的方法能够将各向异性和全局照明（像素间的相互作用）信息编码为单个像素参数。我们通过与之前的工作进行性能比较来展示我们模型的表现，并通过将其实现到 Mitsuba3 渲染引擎中，证明了渲染网络作为 BRDF 的可行性。最后，我们简要讨论了神经参数编码全局照明信息的能力。

    Jun, 2024

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • 基于属性引导扩散模型的面部动画

    该研究提出了一种基于属性引导扩散模型 (FADM) 的面部动画框架，该框架可逐步地改善非自然畸变和伪影。

    Apr, 2023

  • DiffFAE：利用空间敏感定制和语义保留推动高保真度的一次性人脸外貌编辑

    DiffFAE 是一个基于扩散的高效一阶段框架，旨在实现高保真的面部外貌编辑。通过使用基于 3D Morphable Model（3DMM）的渲染纹理，采用空间敏感的物理定制（SPC）来确保高保真度和泛化能力；通过引入区域响应的语义组合（RSC）模块来保留源属性；通过一致性正则化来增强编辑可控性。实验证明，DiffFAE 在面部外貌编辑方面具有优越性能，达到了领先水平。

    Mar, 2024