Sep, 2023

GLOBER: 通过全球引导视频解码器实现一致的非自回归视频生成

PDF
TL;DR该研究提出了一种名为 GLOBER 的新的非自回归方法，首先生成全局特征以获得全面的全局引导，然后根据全局特征合成视频帧以生成连贯的视频；通过引入新的对抗性损失，改善合成视频帧之间的全局连贯性和局部真实性；通过扩散式视频生成器适应视频编码器输出的全局特征进行视频生成。在多个基准测试中取得了有效和高效的新的最先进的研究成果。
发现论文，激发创造
  • GL-RG: 视频字幕生成中的全局与局部表示层级

    本文提出了一种全局 - 局部表示粒度框架（GL-RG）来生成视频字幕，通过显式利用来自不同视频范围的丰富视觉表示，设计了一个新颖的全局 - 局部编码器来产生丰富的语义词汇，以获得帧间视频内容的描述性粒度，采用增量训练策略组织模型学习，实验结果表明 GL-RG 在 MSR-VTT 和 MSVD 数据集上的性能显著优于最近的最先进方法。

    May, 2022

  • 带有局部 - 全局上下文引导的视频扩散模型

    本研究提出一种局部 - 全局上下文引导的视频扩散模型 (LGC-VD)，旨在在有条件 / 无条件的情况下捕获多感知条件，以产生高质量的视频。通过实验，证明此方法在视频预测、插值和无条件视频生成方面具有优异的性能。

    Jun, 2023

  • 非自回归式的粗到细视频字幕

    本文提出了一种非自回归解码的模型，使用基于双向自注意力的语言模型来加速推理，生成视频字幕的过程分为两个阶段，通过迭代的修改，得到高质量的细致视频描述，大量实验表明该方法达到了最先进的性能，并获得了高推理效率。

    Nov, 2019

  • ViD-GPT：在视频扩散模型中引入 GPT 风格的自回归生成

    利用巨大语言模型和 GPT，我们将因果生成引入视频扩散模型中，通过引入因果时序注意力和以帧为提示的设计，我们提出了 Video Diffusion GPT（ViD-GPT），能够在生成每个时刻的帧时获取来自之前所有生成帧的长期上下文。通过引入 kv-cache 机制，我们还能够消除重叠帧的冗余计算，显著提高了推理速度。广泛的实验证明，我们的 ViD-GPT 在长视频生成方面在定量和定性上均取得了最先进的性能。

    Jun, 2024

  • 学习视频序列中的时间规律

    通过学习生成模型的规则运动模式，提出两种基于自动编码器的无监督方法来感知视频序列中有意义的活动，并在定量和定性方面进行测试，表明其在异常检测数据集上具有竞争性表现。

    Apr, 2016

  • 通过全局和局部运动动态控制视频生成

    GLASS 是一种用于全局和局部序列合成的生成模型，它能够在测试时间内使输入图像动画化，并通过递归神经网络来在视频帧之间进行过渡，透过全局和局部行动表示来学习分割前景 - 背景层和生成前景物体随时间移动的方法，并通过自编码器损失进行训练。我们还介绍了全新的合成数据集 W-Sprites，评估了我们的方法在 W-Sprites 和真实数据集上的性能，发现 GLASS 能够从单个输入图像生成逼真的视频序列，并成功地学习了比之前更高级的行动空间。

    Apr, 2022

  • 神经网络视频压缩的分层自回归建模

    本文通过将自回归生成模型与有损视频压缩任务联系起来，提出了一种基于机器学习的视频压缩方法。大规模视频数据的全面评估表明，在视频数据的压缩比率及失真质量上，该方法优于传统的基于机器学习和基于传统技术的方法。

    Oct, 2020

  • DGL: 文本 - 视频检索的动态全局 - 局部提示调优

    我们提出了一个跨模态的动态提示调整方法，使用全局 - 局部注意机制对视频进行建模，通过仅调整 0.67％的参数，我们的方法在 MSR-VTT，VATEX，LSMDC 和 ActivityNet 数据集上优于或与完全微调方法相当。

    Jan, 2024

  • 辅助导向自回归变分自动编码器

    本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

    Nov, 2017

  • 探索使用扩散模型的迭代细化来进行视频定位

    DiffusionVG 是一个以扩散模型为基础的新框架，通过生成随机噪声输入逐步改进的逆向扩散过程，将视频定位作为一项条件生成任务，并在主流 Charades-STA 和 ActivityNet Captions 基准测试中展示了竞争性甚至优越的性能。

    Oct, 2023