May, 2024

回顾：具备特征存储的视频到视频翻译技术

PDF
TL;DRStreamV2V 是一种实时的流媒体视频转视频（V2V）翻译方法，通过用户提示实现。它通过维护一个特征库，将过去的信息与当前帧进行融合，在处理无限帧数时，以流媒体方式而非批处理方式进行帧处理。StreamV2V 具有自适应性和高效性的特点，在不需要微调的情况下，与图像扩散模型无缝集成，并能在一个 A100 GPU 上以 20 FPS 的速度运行，比 FlowVid、CoDeF、Rerender 和 TokenFlow 分别快 15 倍、46 倍、108 倍和 158 倍。定量指标和用户研究结果证实了 StreamV2V 保持时间一致性的卓越能力。
streaming video-to-video translationreal-timeself-attentionfeature banktemporal consistency
发现论文，激发创造
  • StreamingT2V：基于文本的一致、动态、可扩展长视频生成

    通过 StreamingT2V 方法，可以实现高质量的长视频生成，该方法采用文本到视频扩散模型并引入条件注意模块，具有一致性和高运动量。

    Mar, 2024

  • Shortcut-V2V：基于时域冗余减少的视频到视频翻译压缩框架

    Shortcut-V2V 是一个适用于视频到视频翻译的通用压缩框架，通过近似当前帧的中间特征，避免对每个相邻视频帧进行完整推理，利用 AdaBD 模块适应性地融合和变形相邻帧的特征，以实现更准确的中间特征预测，除能达到原始模型相当的性能外，还能在测试时节省 3.2-5.7 倍的计算成本和 7.8-44 倍的内存。

    Aug, 2023

  • 流媒体视频模型

    提出了一种名为 “Streaming Vision Transformer” 的流式视频架构，利用具有内存功能的时间感知空间编码器产生帧级特征，供基于帧的视频任务使用；然后将帧级特征输入到与任务相关的时间解码器中，获得用于序列化任务的时空特征，该模型在行动识别任务中具有最先进的准确度，并在基于帧的多目标跟踪任务中具有竞争优势。

    Mar, 2023

  • FlowVid: 克服不完美光流以保持一致的视频合成

    这篇论文提出了一种一致的视频到视频合成框架，通过同时利用源视频中的空间条件和时间光流线索，处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。

    Dec, 2023

  • 长期特征库用于详细视频理解

    本文介绍了一种使用长期特征库的方法，用于增强现有的视频模型，将传统视野仅在 2-5 秒短片内的限制打破，实现了在 AVA、EPIC-Kitchens、Charades 这三个数据集上领先水平的效果。

    Dec, 2018

  • 快速视频生成：用于视频合成的时空压缩

    本文提出了一种名为 Fast-Vid2Vid 的新型空间时间压缩框架，旨在减少计算资源并加速推理，通过对生成模型的数据方面进行压缩处理，使模型实现低分辨率数据流合成 / 高效中间帧插值，并在标准基准测试中实现约 20 FPS 的实时性能，同时在单个 V100 GPU 上节约约 8 倍的计算成本。

    Jul, 2022

  • 流媒体传播：使用传播模型进行在线视频编辑

    我们提出了一种名为在线视频编辑的新任务，旨在在保持时间一致性的同时编辑流式帧。我们提出了 Streaming Video Diffusion（SVDiff）来解决此问题，它将紧凑的空间感知时间回归与现成的稳定扩散相结合，并采用分段级方案在大规模长视频上进行训练。通过这种简单而有效的设置，我们可以获得一个能够执行各种视频并具有时序连续性的单一模型。我们的实验表明，我们的模型能够以 512x512 的分辨率实现 15.2 FPS 的实时推理速度，对于长时间、高质量的视频编辑表现出色。

    May, 2024

  • Flash-VStream：基于内存的长视频实时理解

    在这篇论文中，我们介绍了一种名为 Flash-VStream 的视频语言模型，它模拟了人类的记忆机制，能够实时处理极长的视频流并同时对用户查询进行响应。与现有模型相比，Flash-VStream 在推理延迟和 VRAM 消耗方面实现了显著的减少，并在在线视频流理解领域表现出了优异的性能。我们还提出了 VStream-QA，一个专门为在线视频流理解设计的新型问答基准，与现有方法在该基准上的比较结果显示了我们方法在这个具有挑战性场景中的优势。此外，我们的方法在离线场景中也取得了最先进的性能。

    Jun, 2024

  • AnyV2V：用于任何视频到视频编辑任务的即插即用框架

    AnyV2V 是一个无需训练的框架，通过使用现有的图像编辑工具和图像到视频生成模型，支持各种视频编辑任务，包括基于参考样式的转换、主题驱动编辑和身份操纵，并在性能方面超越了传统方法。

    Mar, 2024

  • 基于翻译的视频合成

    以图像转换为基础的视频合成（TVS）作为计算机视觉中的一个关键研究领域，旨在在保持时间连续性和基础特征的同时促进视频在不同领域之间的转换。本文通过全面回顾最新进展，深入研究新兴方法和机制，阐明了有效视频合成的基本概念。同时，它还探讨了它们的优点、局限性、适用应用和未来发展的潜在方向。

    Apr, 2024