Mar, 2023

TempT: 测试时间自适应的时间一致性

PDF
TL;DRTempT 是一种新的测试时间适应方法，通过确保连续帧之间的预测的时间一致性，可以在视频中进行面部表情识别等计算机视觉任务中进行广泛应用的强大工具。我们使用流行的 2D CNN 基础架构对 TempT 在 AffWild2 数据集上进行性能评估，并证明其在与先前报告的性能相比具有竞争力，其有效性为其在各种现实世界应用中的使用提供了令人信服的概念证明。
发现论文，激发创造
  • 时域镶嵌：视频分析的统一方法

    本论文提出了一种通用且灵感来源于对 2D 图像分析成功的语义转移技术的视频理解方法，通过测试视频和具有已知语义参考视频之间的对应关系，将参考的语义转移到测试视频。我们讨论了两种匹配方法，并将其应用于视频字幕，视频摘要，时间动作检测和声音预测等任务，并在 LSMDC'16 benchmark，SumMe 和 TVSum benchmarks，Thumos2014 benchmark 和 Greatest Hits benchmark 上取得了优异的表现。

    Dec, 2016

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • 动作识别的视频测试时间适应

    该研究提出了一种针对空间 - 时间模型的方法，它能够在单个视频样本上进行特征分布对齐，保证了预测的一致性，并且在三个基准行动识别数据集上都表现出极高的性能。

    Nov, 2022

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • AuxAdapt: 稳定高效的测试时间适应方法，用于保持视频语义分割的时序一致性

    该论文提出了一种无监督在线适应方法，名为 AuxAdapt，用于提高神经网络模型的时域一致性，通过利用一个辅助分割网络（AuxNet）对原始的分割网络（Main-Net）的决策进行针对性的修改，实现对视频序列的快速、准确、稳定的训练。

    Oct, 2021

  • 长期视频预测的时间一致性视频 Transformer

    通过引入基于向量量化的潜在动态视频预测模型和 MaskGit 先验，我们提出了一种名为 TECO 的模型，它可以在训练和生成过程中有效地处理数百帧的长视频以实现长期时间一致性，不仅在简单的迷宫和大型 3D 世界中，而且在真实世界的复杂视频中也优于 SOTA 基准。

    Oct, 2022

  • ICCV 2023 视觉持续学习挑战的技术报告：语义分割的连续测试时适应

    开发一种测试时自适应方法，用于语义分割任务中针对视频序列中逐渐变化的领域进行模型适应，主要基于合成自驾车视频数据集 SHIFT，目标是分析分布变化并开发一个能够适应数据动态变化和在不同场景中泛化的方法。

    Oct, 2023

  • 视频流的测试时间训练

    本文研究了在线测试时训练（Online TTT）的方法，通过在视频帧上应用自我监督模型来扩展测试时训练的范畴，并提出了在线 TTT 方法，该方法比离线 TTT 方法在特定情况下取得了更好的实验效果。

    Jul, 2023

  • 利用时间对抗性增强提高视频表现

    本研究提出了一种新的视觉增强技术 (Temporal Adversarial Augmentation), 该技术利用时间关注，通过最大化与时间相关的损失函数来移动神经网络的注意力分布，实现神经网络对于视频剪辑的视角多样化，增强了神经网络的泛化能力，提高模型对于 ODD 情况的稳健性，不需要额外的参数或计算成本。

    Apr, 2023

  • TAM：面向视频识别的时间自适应模块

    该研究提出了一种新的时间自适应模块（TAM），可生成基于其自身特征图的视频特定时间核，采用独特的两级自适应建模方案，通过将动态核解耦为位置敏感重要性地图和位置不变聚合权重，从本地时间窗口中学习重要性地图以捕捉短期信息，从全局视图中生成聚合权重，并成功应用于 TANet 架构中，从而实现卓越的性能表现。

    May, 2020