Nov, 2023

DA-STC: 基于时空一致性的领域自适应视频语义分割

PDF
TL;DR通过引入双向多级时空融合模块和类别感知的时空特征对齐模块，提出了一种新颖的 DA-STC 方法来解决视频语义分割任务中的领域自适应问题，并在多个具有挑战性的基准测试上取得了最先进的 mIOUs。
video semantic segmentationdomain adaptationspatio-temporal featuresfeature alignmentda-stc method
发现论文，激发创造
  • 通过时间一致性正则化实现域自适应视频分割

    本文提出 DA-VSN 用于视频语义分割，该模型通过领域自适应实现了对不同领域视频间的域差距问题解决，并使用一种基于时序一致性的规则（TCR）来提高模型性能。

    Jul, 2021

  • 基于时空像素级对比学习的无源域自适应视频语义分割

    本文研究了视频语义分割的源无域自适应（SFDA），提出了一种新的叫做 Spatio-Temporal Pixel-Level contrastive learning 的方法，该方法通过利用时空信息来解决源数据缺失的问题，并在视频语义分割基准测试中取得了最先进的性能。

    Mar, 2023

  • 联合自监督时域适应进行动作分割

    本研究提出了一种自监督时序领域自适应方法，将动作分割任务作为一个跨领域问题进行重新构造，通过利用未标记的视频来解决由空间 - 时间变化引起的域间差异问题，同时还使用二进制和连续领域预测两个辅助任务，以匹配局部和全局时间动态的特征空间，表现优于其他域自适应方法，并具有使用更少标记训练数据实现相当性能的优势。

    Mar, 2020

  • 视频语义分割的无监督域自适应

    本文提出了一种新的、针对视频语义分割的无监督域自适应方法，通过视频对抗训练和视频自我训练等网络，在实验中取得了优异的成绩，表明这一方法可以有效地将模拟数据转移到实际场景中，缓解视频领域对数据的需求。

    Jul, 2021

  • 基于语义分布感知的语义分割对比自适应

    该研究提出了一种基于语义分布的对比适应算法，可以在语义分布的指导下实现像素级表示对齐，从而能够更好地解决跨域问题。经验证明，SDCA 在多个基准测试中都可以显着提高现有算法的分割准确性。

    May, 2021

  • 通过学习时间一致性进行动作识别的无源视频域自适应

    本研究提出了一种名为 ATCoN 的新的注意力机制深度神经网络，以解决视频领域无源域自适应的挑战，该网络通过学习特征一致性和源预测一致性来提高时间一致性，并使用预测置信度优化局部与整体时间特征，该方法在不同领域的动作识别基准中表现出卓越的性能。

    Mar, 2022

  • 视频域自适应的时间关注对齐

    本研究提出了一个更大规模的视频领域自适应数据集 UCF-HMDB_full，并探究了不同的 Integration 方法以及通过指定领域距离来显式关注时间动态的方法 TA3N 来实现更有效的域适应。

    May, 2019

  • 多模态视频主题分割与双对比领域适应

    基于多模态的视频主题分段器利用视频转录和帧，结合跨模态注意机制，提出了一种双对比学习框架，从而提高我们的模型对更长、更语义复杂的视频的适应能力。在短视频和长视频集合上的实验证明，我们的解决方案明显优于基准方法，无论是准确度还是可转移性，在域内和跨领域设置下都有显著提升。

    Nov, 2023

  • 语义分割中的上下文感知域自适应

    本文提出了一种基于交叉关注机制的无监督域自适应方法，用于在语义分割中将一个域中的知识转移到另一个域中，通过对自注意力机制的改进，能够更好地适应上下文依赖性和转移可操作的上下文信息，优于现有的方法。

    Mar, 2020

  • 视频领域广义化的时空感知多样化

    通过从源领域训练，视频领域泛化旨在为未见过的目标领域学习具有普适性的视频分类模型。克服视频领域泛化的一个关键挑战是在识别目标视频时，抵制对来自源领域的特定于领域的线索的过度依赖。为此，我们提出了一种名为 “时空多样化网络（STDN）” 的新模型，该模型旨在感知视频中多样化的时空线索，以发现除特定于领域的线索之外的潜在的领域不变线索。首先，我们的 STDN 提出通过空间分组在单个帧中发现各种类型的空间线索。然后，我们的 STDN 提出通过空间 - 时间关系建模在多个空间 - 时间尺度上显式地建模视频内容之间的空间 - 时间依赖关系。对三个不同类型的基准测试进行的大量实验证明了我们方法的有效性和通用性。

    Oct, 2023