ICCVAug, 2023

3D 运动增强：利用时间变化辐射场可视化微小运动

PDF
TL;DR运用 Euler 原理提取和放大固定点随时间嵌入变化的 3D 运动放大方法，支持运动相机拍摄场景的变化、创新视角渲染。通过时间变化的辐射场来表示场景，并在隐含和三平面辐射场作为三维场景表示中验证所提出的 3D 运动放大原理的有效性。在各种摄像机设置下，我们评估了所提出方法在合成和真实世界场景中的有效性。
motion magnification3d motion magnificationmoving cameraradiance fieldscamera setups
发现论文，激发创造
  • 视频加速放大

    该论文提出了一种基于欧拉方法的运动放大方法，可在不需要光流、时间对准或区域注释的情况下，对视频图像进行运动和颜色的放大处理。

    Apr, 2017

  • 基于事件的运动放大

    提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统，结合了事件流的时间密集信息和 RGB 图像的空间密集数据，以实现对高频运动的广泛和经济有效的放大，通过深度网络解决了高频运动和微小运动放大的问题。

    Feb, 2024

  • EulerMormer：基于 Transformer 的稳健欧拉运动增强算法

    论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制，以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明，EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大，明显优于现有方法。

    Dec, 2023

  • 基于学习的轴向运动放大

    改进了通过提出一种名为轴向动作放大的新概念来提高视频动作放大的可读性，该方法可以放大沿用户指定方向的分解动作，并通过 Motion Separation 模块进行学习，以实现对特定轴的运动的放大和简化，从而提供更容易阅读的动作信息，并可应用于多种应用中具有特定运动轴的关键性运动。

    Dec, 2023

  • 再探基于学习的视频运动放大实时处理

    实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现，我们介绍了一个实时的深度学习基于模型，比之前的方法具有更高的计算效率和速度，同时保持了相当的质量。

    Mar, 2024

  • 可控的人体动作合成的基于点的辐射场

    该论文提出了一种基于静态基于点的辐射场的新颖可控人体动作合成方法，通过编码点云转换来应用变形，并利用奇异值分解估计局部旋转以使渲染结果与规范空间训练一致。实验表明，我们的方法在精细级复杂变形方面明显优于现有技术，且可推广到除人物之外的其他 3D 角色。

    Oct, 2023

  • 光场盲运动去模糊

    本研究通过分析相机运动对光场的影响，并在原始域和傅里叶域中研究光场的运动模糊问题，提出了一种算法，可以实现对于实际的合成运动模糊光场进行盲目去模糊，还原光域；并证明了三维相机的运动路径。

    Apr, 2017

  • 鲁棒动态辐射场

    本研究中，我们介绍了一种新方法，通过联合估计静态和动态辐射场以及相机参数来解决使用 SfM 算法估计相机姿态时的不稳定性问题，实验证明此方法比现有的动态视图合成方法表现优异。

    Jan, 2023

  • 面向快速稀疏输入动态视图合成的分解运动场

    为快速优化和渲染设计动态场景的三维表示是一项具有挑战性的任务，本文旨在使用稀疏的输入视点学习快速的动态辐射场表示，并引入可靠的流先验来限制运动模型，从而实现对稀疏输入视点的优化。

    Apr, 2024

  • 3D 视频合成的流式辐射场

    通过增量学习范式，结合基础模型和逐帧模型差异调节策略，采用窄带技术和基于模型差异的压缩方法，实现高效的流式辐射场实时渲染，训练时间为每帧 15 秒，性能比其它隐式方法快 1000 倍。

    Oct, 2022