无约束多视角视频中动态事件的四维可视化
本文介绍了一种重建 4D 时间连续场景模型的方法,该方法使用多个移动相机进行重建,可以重建动态或静态物体,同时将稀疏 - 稠密时序对应与联合多视角分割和重建结合使用,利用时间上的连续性克服了视觉歧义,并通过引入测地线星凸性的约束实现了具有鲁棒性的动态物体分割和重建。
Mar, 2016
本文提出了一种改进的 2D 编码事件数据的 3D 表达方法,并介绍了 3D-FlowNet 网络体系结构以进行光流估计,并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明,我们的 3D-FlowNet 具有更好的性能。
Jan, 2022
这篇论文提出了使用多视角视频进行无监督 4D 视觉场景理解的方法,可以同时估计每个像素的具体模型和实例级别分割,并利用最近的 3D 姿势估计技术约束联合语义实例分割和 4D 时间上连贯的重建,以能够精准地分割多个动态场景中相互作用的人,实验表明与现有方法相比,语义分割、重建和场景流的准确性都显著提高了大约 40%。
Jul, 2019
提出了一种高效的视频到 4D 对象生成框架 Efficient4D,能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像,通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型,大大提升了速度,同时保持创新视角合成质量。
Jan, 2024
通过无监督学习方法,提出了一种基于分解动态物体运动和相机运动的动态视图合成方法,包括非监督表面一致性和基于路径的多视图约束,可实现准确的 3D 运动建模,从而提高合成质量并相比现有方法精确地生成场景流和深度
Apr, 2023
提出了一种使用神经场地理概念表示动态场景,并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角,并在复杂动态场景中表现出较好的性能。
Nov, 2020
该研究提出了一种基于神经隐式表示及不可导函数的算法,能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图;通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF,以及使用正则化约束的方式解决了样本不足的问题,其在大量数据和质量实验效果上获得了良好的表现。
May, 2021
本文介绍了一种新颖的实时多人运动捕捉算法,使用多视角视频输入。通过联合多视角图像和多个时间帧进行关节优化,解决了运动捕捉中存在的关键挑战,该方法每秒可以在 5 个人的场景中使用 5 个相机运行 30fps 的帧率。
Feb, 2020
该论文介绍了一种不需要先验知识的方法,利用多视角相机从复杂动态场景中获取 4D 的、时间相干的场景模型的无监督重构,并通过应用于自由视角渲染和虚拟现实中,改善了非刚性对象分割和形状重构的精度。
Jul, 2019
通过在事件数据和光流信息上利用自监督变换器,我们提出的方法克服了事件驱动运动分割的限制,消除了人工注释的需求,并减少了参数调整问题,实现了在多个数据集上与现有方法相比的最新性能,适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。
May, 2024