Oct, 2023

DynPoint: 动态神经点对视图合成

PDF
TL;DR为了解决现有算法在处理无控制或长时间场景时的困难以及需要针对每个新场景进行大量训练时间的限制，我们提出了 DynPoint 算法，用于实现无约束单目视频的快速合成新视角。该算法通过预测相邻帧之间的显式 3D 对应关系来实现信息聚合，并利用这些对应关系来从多个参考帧到目标帧中聚合信息，从而实现快速准确的目标帧视角合成。实验证明，与以往方法相比，我们的方法在加速训练时间方面取得了显著的改进，通常为数量级的提高，并且在处理长时间视频时显示出较强的鲁棒性，并无需学习视频内容的规范表示。
neural radiance fieldsview synthesismonocular videosunconstrained monocular videosdynpoint
发现论文，激发创造
  • Point-DynRF: 单目视频中的基于点的动态辐射场

    通过引入点云动态辐射场（Point-DynRF）的新框架，该论文解决了动态辐射场几何一致性仅限于相邻输入帧的问题，并通过训练神经点云和动态辐射场的全局几何信息和体积渲染过程来优化辐射场和几何代理，从而相互补充。实验证明了该方法的有效性。

    Oct, 2023

  • D-NPC: 动态神经点云用于从单目视频进行非刚性视图合成

    该研究论文介绍了一种从单目视频中进行动态新视图合成的新方法，通过将场景表示为动态神经点云，利用数据驱动的先验信息和快速可微分光栅化器和神经渲染网络，实现高质量的合成图像。

    Jun, 2024

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • 动态单目视频的动态视角合成

    该研究提出了一种基于神经隐式表示及不可导函数的算法，能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图；通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF，以及使用正则化约束的方式解决了样本不足的问题，其在大量数据和质量实验效果上获得了良好的表现。

    May, 2021

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 动态点场

    本文提出了一种动态点场模型，它将显式点图形的表现优势与隐式形变网络相结合，以便有效地建模非刚性 3D 表面，并演示了该模型在创建表情逼真的可动人体形象方面的优势。

    Apr, 2023

  • 用神经场景流场进行动态场景的时空视图合成

    提出了一种使用神经场地理概念表示动态场景，并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角，并在复杂动态场景中表现出较好的性能。

    Nov, 2020

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 可控的人体动作合成的基于点的辐射场

    该论文提出了一种基于静态基于点的辐射场的新颖可控人体动作合成方法，通过编码点云转换来应用变形，并利用奇异值分解估计局部旋转以使渲染结果与规范空间训练一致。实验表明，我们的方法在精细级复杂变形方面明显优于现有技术，且可推广到除人物之外的其他 3D 角色。

    Oct, 2023

  • 神经轨迹场用于动态新视角合成

    本论文提出了 DCT-NeRF，一种基于坐标的神经表示方法，用于动态场景的高质量重建，它学习空间中每个点的平稳和稳定轨迹，并强制执行序列中任意两帧之间的一致性。

    May, 2021