本文提出了一种名为 Fast-Vid2Vid 的新型空间时间压缩框架，旨在减少计算资源并加速推理，通过对生成模型的数据方面进行压缩处理，使模型实现低分辨率数据流合成 / 高效中间帧插值，并在标准基准测试中实现约 20 FPS 的实时性能，同时在单个 V100 GPU 上节约约 8 倍的计算成本。

Jul, 2022

在压缩领域中，通过使用简单而有效的端到端转换器实现从压缩视频中进行学习并进行视频字幕生成，该方法在不同基准测试中取得了最先进的性能，并且运行速度比现有方法快近 2 倍。

Sep, 2023

AnyV2V 是一个无需训练的框架，通过使用现有的图像编辑工具和图像到视频生成模型，支持各种视频编辑任务，包括基于参考样式的转换、主题驱动编辑和身份操纵，并在性能方面超越了传统方法。

Mar, 2024

StreamV2V 是一种实时的流媒体视频转视频（V2V）翻译方法，通过用户提示实现。它通过维护一个特征库，将过去的信息与当前帧进行融合，在处理无限帧数时，以流媒体方式而非批处理方式进行帧处理。StreamV2V 具有自适应性和高效性的特点，在不需要微调的情况下，与图像扩散模型无缝集成，并能在一个 A100 GPU 上以 20 FPS 的速度运行，比 FlowVid、CoDeF、Rerender 和 TokenFlow 分别快 15 倍、46 倍、108 倍和 158 倍。定量指标和用户研究结果证实了 StreamV2V 保持时间一致性的卓越能力。

May, 2024

本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

Jun, 2023

本文提出了一种多功能的学习视频压缩（VLVC）框架，使用一种模型支持所有可能的预测模式，包括运动补偿模块和流预测模块，可大大减少体素流的传输成本，并在各种情况下支持多功能压缩。实验结果表明，VLVC 不仅支持多功能压缩，还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。

Nov, 2021

空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

Sep, 2023

以图像转换为基础的视频合成（TVS）作为计算机视觉中的一个关键研究领域，旨在在保持时间连续性和基础特征的同时促进视频在不同领域之间的转换。本文通过全面回顾最新进展，深入研究新兴方法和机制，阐明了有效视频合成的基本概念。同时，它还探讨了它们的优点、局限性、适用应用和未来发展的潜在方向。

Apr, 2024

我们提出了一种从压缩测量直接生成字幕的新型视频字幕生成模型 SnapCap，并通过使用预训练的 CLIP 来提取与语言相关的视觉表示，实验证明我们的模型在速度和字幕质量方面优于传统的视频字幕生成方法。

Jan, 2024

这篇论文提出了一种一致的视频到视频合成框架，通过同时利用源视频中的空间条件和时间光流线索，处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。

Dec, 2023