Feb, 2024

提高视频利用效率：一种更新的领域自适应视频分割基线

PDF
TL;DR对于语义分割的无监督域自适应（DAS）的研究已经很丰富，本文通过比较图像和视频领域的 DAS 方法在一系列基准数据集上的表现，发现了一些有趣的现象并开源了相应的代码库。
发现论文，激发创造
  • 视频语义分割的无监督域自适应

    本文提出了一种新的、针对视频语义分割的无监督域自适应方法，通过视频对抗训练和视频自我训练等网络，在实验中取得了优异的成绩，表明这一方法可以有效地将模拟数据转移到实际场景中，缓解视频领域对数据的需求。

    Jul, 2021

  • 视频域自适应的时间关注对齐

    本研究提出了一个更大规模的视频领域自适应数据集 UCF-HMDB_full，并探究了不同的 Integration 方法以及通过指定领域距离来显式关注时间动态的方法 TA3N 来实现更有效的域适应。

    May, 2019

  • 图像变视频：通过图像转视频的可微分自动增强和融合重塑感受野

    本文提出了一种利用自动数据增强技术进行图像分类和语义分割任务的新方法，称为 Differentiable Augmentation Search (DAS)，通过生成可作为视频处理的图像变化，DAS 可以在极短的时间内搜索非常大的搜索空间，且相比标准的数据增强方法，在不同的轻量级视频骨干网络上取得更高的准确性。

    Mar, 2024

  • 面向大规模视频域自适应的时态关注对齐

    提出了两个大规模视频领域自适应数据集，并研究了不同的视频 DA 集成方法，展示了同时对齐和学习时间动态可实现有效对齐的效果，最后提出了一个基于时间注意力的对抗适应网络 TA3N，实现更有效的领域对齐，达到了四个视频 DA 数据集的最优性能。

    Jul, 2019

  • 无标签视频中人脸识别的无监督域适应

    通过特征水平领域自适应方法，该文提供一种学习判别式视频帧表示的方法，利用大规模无标签的视频数据，使得模型可以转移从大规模标记的静态图像中获得的判别性知识。实验表明，该方法可大幅度提升视频人脸识别性能，达到最先进的准确性。

    Aug, 2017

  • 通过时间一致性正则化实现域自适应视频分割

    本文提出 DA-VSN 用于视频语义分割，该模型通过领域自适应实现了对不同领域视频间的域差距问题解决，并使用一种基于时序一致性的规则（TCR）来提高模型性能。

    Jul, 2021

  • 多模态视频主题分割与双对比领域适应

    基于多模态的视频主题分段器利用视频转录和帧，结合跨模态注意机制，提出了一种双对比学习框架，从而提高我们的模型对更长、更语义复杂的视频的适应能力。在短视频和长视频集合上的实验证明，我们的解决方案明显优于基准方法，无论是准确度还是可转移性，在域内和跨领域设置下都有显著提升。

    Nov, 2023

  • 混合时间域自适应的行动分割

    通过将问题描述为域适应问题，该研究提出了混合时间域适应模型，以在帧和视频级别特征空间中对齐嵌入特征，并进一步与域注意力机制相结合，以便更有效地进行域适应。在 GTEA、50Salads 和 Breakfast 数据集上验证了该方法目前的有效性。

    Apr, 2021

  • DA-STC: 基于时空一致性的领域自适应视频语义分割

    通过引入双向多级时空融合模块和类别感知的时空特征对齐模块，提出了一种新颖的 DA-STC 方法来解决视频语义分割任务中的领域自适应问题，并在多个具有挑战性的基准测试上取得了最先进的 mIOUs。

    Nov, 2023

  • 无监督视频域适应：一个分离透视

    本文针对无监督视频领域自适应这一实用但具有挑战性的任务，首次从分离视点入手，对相关领域信息和时空语义信息进行数据转换，提出了一种 TranSVAE 框架并设计了多个目标函数，经强大的实验验证，相比几种现有技术，TranSVAE 具有更大的有效性和优越性。

    Aug, 2022