Nov, 2018

通过自监督学习学习 GAN 基于视频生成的时间相干性

PDF
TL;DR本文提出了一种使用时间自我监督的算法，采用 GAN 生成视频的方式解决了时间关系难以探索的问题，同时提出了 Ping-Pong loss 用来改善长期时间一致性问题，并且介绍了一组评估模型的定量指标。
temporal self-supervisiongan-based video generationtemporal adversarial learningping-pong lossperceptual quality
发现论文，激发创造
  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 时间信息能帮助对比自监督学习吗？

    本篇论文提出了 Temporal-aware Contrastive self-supervised learning （TaCo）的方法，该方法通过选择一组强大的时态变换，不仅作为数据强化，还作为额外的自我监督来构成视频理解的重要组成部分，从而可以提高无监督视频表示学习，大幅改善了下游分类任务的成果。

    Nov, 2020

  • 从叙述视频循环中学习时间动态

    提出了一种基于自监督训练的计算机视觉方法，通过结合视觉和语言的时间循环一致性来学习模型预测未来和过去的动态变化，并可应用于不同任务，如动作预测和图像排序。

    Jan, 2021

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • 时光缝合：基于 GAN 的真实视频面部编辑

    本文提出了一种基于对生成对抗网络的理解和神经网络学习低频功能的能力，使用 StyleGAN 对视频中的面部进行语义编辑，提高了当前最先进技术水平，实现了有意义的面部操作，保持了更高程度的时间连贯性，并可应用于高质量的 Talking Head 视频中。

    Jan, 2022

  • 利用时序相干性进行自监督单次视频再识别

    本文提出了一种新的基于时间一致性递进学习的框架，利用自监督辅助任务来捕捉未被标记的轨迹之间的关系，从而更好地实现视频检索中的标记，相比现有技术提高了高达 8% 的未标记数据真实标记的准确性和重识别的性能。

    Jul, 2020

  • 从字幕生成视频：创造您所说的话

    本文中，我们提出了一个新颖的基于标题的时序生成对抗网络（TGANs-C）来生成视频，该网络结合了数据的语义和时间上的一致性。我们通过定性和定量实验验证了我们的提议，并展示了在给定标题的情况下生成逼真视频的能力。

    Apr, 2018

  • 不再取巧：实现时间自监督的潜力

    我们提出了更具挑战性的帧级自我监督任务和有效的增强策略，通过增加 Transformer 模型来训练从对比学习中预训练的单帧视频表示，大幅提升了通过时间自我监督学习到的特征的质量，并且在高水平语义任务和低水平时序任务上表现出卓越的性能。

    Dec, 2023