FOF: 单目实时人体重建的傅里叶占用场学习
本文提出了一种名为 GOF 的新模型,它基于生成亮度场,可以在不妨碍其训练收敛的情况下学习紧凑的物体表面。GOF 的关键在于从亮度场的累积渲染到只以表面点为基础的渲染的特定转换。通过对多个数据集的全面实验,我们证明了 GOF 可以生成具有 3D 一致性的高质量图像,并同时学习到紧凑而光滑的物体表面。
Nov, 2021
本文提出一种基于广义 NeRF、PlenOctree 表示、体积融合和 Fourier 变换的 Fourier PlenOctree 技术,能够高效地对动态场景进行神经建模和实时渲染,实现超过 SOTA 的渲染加速。
Feb, 2022
本研究提出了一种基于连续波 ToF 相机的神经表征模型,改进了动态场景的重建质量及鲁棒性,讨论了将 RGB+ToF 传感器集成到现代智能手机上的益处和局限性。
Sep, 2021
本文提出了一种新的基于占据网络的、在 3D 重建方面使用的表示方法,可以在计算和内存效率上实现任意拓扑的高分辨率几何表示,并通过各种输入进行推断,产生竞争力的结果。
Dec, 2018
通过对动态模型中的压缩引入的伪影进行深入分析,并利用所得的见解提出一种改进的表示方法,特别是提出了一种根据基于 Fourier 的压缩来适应底层体渲染过程的传递函数特征的新密度编码,从而显著减少动态模型中的伪影。此外,通过对训练数据的扩充来放松压缩的周期性假设。在合成和真实场景的定量和定性评估范围内展示了增强的 Fourier PlenOctrees 的有效性。
Oct, 2023
FourierHandFlow 是第一个从 RGB 视频中学习的神经 4D 连续手部表示,其将 3D 占据场与表示为傅里叶级数的关节感知查询流相结合,以保证平滑和连续的时间形状动态,并在运动内插 / 外插和纹理转移方面取得了先进的结果。
Jul, 2023
提出了一种新型的稀疏视角下的 3D 重建框架,它通过将占据区域和反照率区域与额外的能见度场密切结合,解决了多视角特征聚合中的遮挡模糊性,能够评估自遮挡重照的光衰减。通过渲染启发式损失,它能够隐式地强制能见度和占据场之间的对齐,使得最终的联合训练效果优越于现有的技术,能够同时实现比光线追踪更为准确的重建和重照。
Apr, 2023
我们引入了 HumanRF,这是一种 4D 动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023
本文提出一种基于神经算子的端到端物理场重构方法,命名为 RecFNO, 通过在无穷维空间学习从稀疏观测到流场和热场的映射,具有高度的非线性拟合能力和分辨率不变性,使用嵌入算法表示稀疏输入,使用傅里叶层在傅里叶空间重建物理场进行规则化,实现了从一个网格到另一个网格的更好的分辨率可转移性。
Feb, 2023
本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术,从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下,从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。
Jul, 2020