通过时间一致性正则化实现域自适应视频分割
本研究提出了一个更大规模的视频领域自适应数据集UCF-HMDB_full,并探究了不同的 Integration 方法以及通过指定领域距离来显式关注时间动态的方法TA3N来实现更有效的域适应。
May, 2019
提出了两个大规模视频领域自适应数据集,并研究了不同的视频 DA 集成方法,展示了同时对齐和学习时间动态可实现有效对齐的效果,最后提出了一个基于时间注意力的对抗适应网络 TA3N,实现更有效的领域对齐,达到了四个视频 DA 数据集的最优性能。
Jul, 2019
本文提出了一种新型的多级对抗网络 (MLAN),针对源域和目标域之间的全局图像水平和局部图像区域之间的不一致性,通过区域级对抗性学习 (RL-AL) 和共正则化对抗性学习 (CR-AL),以及在输入空间和输出空间上的多级一致性映射来实现领域自适应。大量实验表明,MLAN 在多个数据集上一致地优于现有技术。
Mar, 2021
本文提出了一种新的、针对视频语义分割的无监督域自适应方法,通过视频对抗训练和视频自我训练等网络,在实验中取得了优异的成绩,表明这一方法可以有效地将模拟数据转移到实际场景中,缓解视频领域对数据的需求。
Jul, 2021
该论文提出了一种无监督在线适应方法,名为AuxAdapt,用于提高神经网络模型的时域一致性,通过利用一个辅助分割网络(AuxNet)对原始的分割网络(Main-Net)的决策进行针对性的修改,实现对视频序列的快速、准确、稳定的训练。
Oct, 2021
本文提出了一种基于时序伪监督的方法(TPS)来进行视频语义分割,该方法可以在适应有标签的源域到无标签的目标域时,通过跨视频帧产生伪标签的方式缓解数据标注的限制,从而提升了处理多样性目标数据时的准确率。实验证明,TPS比现有技术更稳定,更简单易实现,且具有更高的视频语义分割准确率。
Jul, 2022
本文提出将一致性正则化项加入半监督UDA中,通过建模网络输出元素之间的像素之间的相互关系,在DAFormer框架上改善了GTA5到Cityscapes数据集19类mIoU表现0.8和SYNTHIA到Cityscapes数据集16类mIoU表现1.2。
Aug, 2022
本文提出了一种运用自监督学习和运动导向的领域自适应语义分割框架(MoDA),以解决目标领域中缺乏标注的语义分割问题。MoDA通过利用对象运动的自监督学习,在前景和背景类别上采用不同的策略来处理领域间的差异,通过前景对象发现和语义挖掘以及背景对抗训练来提高准确性。实验结果表明,MoDA在领域自适应图像分割和领域自适应视频分割方面优于现有方法,并可与现有的先进方法相结合以进一步改善性能。
Sep, 2023
通过引入双向多级时空融合模块和类别感知的时空特征对齐模块,提出了一种新颖的DA-STC方法来解决视频语义分割任务中的领域自适应问题,并在多个具有挑战性的基准测试上取得了最先进的mIOUs。
Nov, 2023
对于语义分割的无监督域自适应(DAS)的研究已经很丰富,本文通过比较图像和视频领域的DAS方法在一系列基准数据集上的表现,发现了一些有趣的现象并开源了相应的代码库。
Feb, 2024