使用神经 ODE 学习 4D 捕捉的组合表示
本研究提出一个新型框架,名为 H4D,利用 SMPL 参数模型对动态人体进行建模,包括形状、初始姿势、运动和辅助信息,通过线性运动模型和 GRU-based 架构来提高准确性和表现力,有效地恢复了动态人物的运动和细节几何
Mar, 2022
提出了一种新框架,能够根据给定条件下低维空间中的形状和颜色信息的动态演化,生成连贯的 4D 序列。实验证明,该方法在生成具有颜色和 4D 网格动画的高质量 3D 形状方面具有显著优势。
Mar, 2024
本文提出将 MRI 图像重建问题作为一种优化问题,使用神经 ODE 模型其优化轨迹,并探究了基于三种 ODE 求解的模型,相比 UNet 和级联 CNN 等其他方法,模型表现更好,参数效率更高,从而引入一种新的通过神经 ODE 建模连续优化动力学的 MRI 重建方式。
Jun, 2020
这篇论文介绍了一种从单目 RGB-D 学习 4D 视觉表示估计的框架,通过将点云编码成连续表示,该模型能够在时空上跨越上下文从而解决遮挡问题,实验证明这种方法可以成功地处理遮挡问题,并自动学习跟随遮挡物体的注意机制,可以用于许多视频理解任务。
Apr, 2022
本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画,重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术,结合表情识别模型,以高分辨率的四维扫描数据集为基础,成功地实现了对面部表情的高度逼真合成,且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。
Jul, 2020
通过使用单个视图,我们提出了一个新的框架来解决动态场景的四维分解问题,并通过密集光线投射强调动态区域的学习,从而克服了单个视图和遮挡带来的挑战,并实现了比现有方法更高保真度的单视图动态场景表示。
Feb, 2024
本文提出了一种无监督表征学习方法,可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流,以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。
Jan, 2017
本文提出一种基于自监督学习的神经场景分解(NSD)方法,通过对多视角数据的学习,用三层信息表示人体姿态,其中包括边界框和相对深度,实例分割掩码和个体化外观信息以及 3D 姿态信息,该方法能够为小规模数据集训练 3D 姿态估计网络提供帮助。
Mar, 2019
Tensor4D 是一种高效而有效的动态场景建模方法,通过 4D 张量分解来直接表示动态场景,并通过不同尺度上的分解进一步实现动态构建和渲染。在合成和现实世界场景中验证了其效果,具有高质量的动态重建和渲染功能。
Nov, 2022
本文提出采用 Video-level 4D 卷积神经网络(V4D)模型的长时空特征演化,通过设计新的 4D 残差块捕捉视频间的交互作用,将 4D 残差块轻松整合到现有的 3D CNN 中以进行层次化的长程建模,并在三个视频识别基准数据集上进行了广泛的实验验证,V4D 表现出优异的结果,显著优于最近的 3D CNN。
Feb, 2020