视频溅射:多功能处理的视频高斯表示
通过重复使用现有的视频模型进行 3D 超分辨率,我们提出了一种简单、模块化和通用的方法,以增加粗糙 3D 模型的几何和外观细节,从而显著提高最终 3D 模型的保真度。
Jun, 2024
通过使用层次结构的三维高斯,本研究提出了一种在非常大的场景中保持视觉质量的方法,同时提供了有效的远程内容的适当级别选择和平滑过渡的有效细节解决方案。
Jun, 2024
本文提出一种基于学习的方法,通过引入新颖的不确定性捕获的 3D 卷积架构来实现多层视频表示,并训练这些模型以分离混合视频。实验表明,该方法在真实世界的视频上表现出良好的性能,并呈现出颜色恒定、分解阴影以及分离反射的有趣能力。
Dec, 2018
我们提出了 GaussianAvatar,一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类,可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性,以支持姿势相关的外观建模,其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外,通过利用可微分的运动条件,我们的方法在化身建模过程中使得动作和外观能够进行联合优化,有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证,展示了其在外观质量和渲染效率方面的优越性能。
Dec, 2023
在没有人工标注标签的前提下,本文提出了一种自我监督学习方法来学习视频的时空特征,通过回归时空维度上的外观和运动统计量来提取视觉特征,并在视频分类任务中验证了其有效性。
Apr, 2019
本文旨在提出一种自监督视频表示学习的新型先验任务,通过计算一系列时空统计摘要信息,利用神经网络训练来产生摘要信息,采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度,在四个 3D 骨干网络上的实验结果表明,该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。
Aug, 2020
通过将高斯动态投射到图像空间中,我们引入了一个新的概念,高斯流,它连接了 3D 高斯和相邻帧之间的像素速度,从而实现了光流的直接动态监督,显著提高了 4D 动态内容生成和 4D 新视图合成的视觉质量,并解决了 4D 生成过程中常见的颜色移动问题。
Mar, 2024
使用 GaussianPrediction 框架,结合 3D Gaussian 表示法、动态场景建模和未来场景合成等技术,实现对动态环境中未来状态的预测和渲染。
May, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024