本文提出了一种分层可控的视频生成方法，其中用户可以通过简单操作前景掩码来控制视频生成过程，以此实现对视频生成的更加精细的控制。该方法采用两阶段学习，第一阶段通过前景尺寸先验和 VQ-VAE 生成器学习如何将帧分离为前景和背景层，并在这些层的条件下生成下一帧；第二阶段通过拟合参数化控制，微调网络以预测后续帧中的 MASK 情况。实验表明，该方法拥有更好的控制效果，同时在两个基准数据集上实现了最先进的性能。

Nov, 2021

我们提出了一种基于学习的方法来消除从移动相机拍摄的短序列图像中的不需要的干扰物，例如窗户反射，栅栏遮挡或附着的雨滴。我们的方法利用背景和阻挡元素之间的运动差异来恢复两个图层，并在估计两个层的密集光流场和通过深度卷积神经网络从流场变形的图像重建每个层之间进行交替。通过学习的重建模块有助于适应流量估计和脆弱假设（例如亮度一致性）中的潜在错误。我们显示，该方法在从合成数据中学习后对真实图像具有很好的表现。在许多具有挑战性的反射和围栏移除情况下进行的实验结果证明了该方法的有效性。

Aug, 2020

本研究介绍了一种灵活的视觉工作存储模型用于视频分解任务，该模型提供了可解释和高性能的分层深度体系结构，有效地恢复了运动目标的强度和几何形状，通过分解视频中的结构正则化模拟移动前景对象，创新性地分离出噪声和复杂背景中的运动对比度 - 填充血管。

Apr, 2022

基于可变形注意力的自监督视频对象分割方法在学习对象表示时能够有效地适应时间变化，通过将可变形注意力集成到蒸馏损失中，我们在自监督学习框架下训练了该方法，并在包括 DAVIS 2016/2017 和 YouTube-VOS 2018/2019 等基准数据集上对其进行了定性和定量评估，实验证实了其在性能和内存使用方面的优越性。

Jan, 2024

本文提出一种基于学习的方法，通过引入新颖的不确定性捕获的 3D 卷积架构来实现多层视频表示，并训练这些模型以分离混合视频。实验表明，该方法在真实世界的视频上表现出良好的性能，并呈现出颜色恒定、分解阴影以及分离反射的有趣能力。

Dec, 2018

本文提出了在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态 Transformer 模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。

Jul, 2022

提出一种新的基于神经网络的方法，该方法利用类似人类的注意机制来自主地以像素为单位学习视频流的表示，本文的实验表明，该方法可以在少量监督的情况下进行开放式类增量分类。

Apr, 2022

本篇论文介绍了一个基于对象中心的分割模型，借助变压器架构对光流进行处理来实现视频中的多个运动对象发现、追踪与分割。同时，采用可伸缩管线生成多对象合成训练数据，以及深度学习模型的全面验证研究，并证明其在表现、预测能力等方面都具备领先水平。

Jul, 2022

通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

Oct, 2018

为了实现对盲图像分解过程的控制，我们设计了一种名为可控盲图像分解网络的架构，它允许用户选择要去除或保留的降解类型，并在最小的计算成本下实现了分解和重组功能，以实现盲图像分解任务和用户意图的高效输出。

Mar, 2024