本文提出了一种端到端可训练的深度学习模型,利用时间信息来利用易于获取的未标记数据,从而解决了视频分割中标签稀缺的问题。实验结果表明,该模型能够显著优于基线方法和逐帧图像分割。
Aug, 2019
本文提出了一种有效的语义视频分割方法,借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题,我们在推理过程中采用逐帧方式处理,其中显式考虑帧与帧之间的时间一致性,并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法,我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在Cityscapes和Camvid等流行基准测试中优于先前的基于关键帧的方法,并提高了与独立训练每帧的对应基线的时间一致性。
Feb, 2020
利用无监督学习深度、自我运动和相机内在参数,通过在视频帧之间施加三维几何和时间一致性,从而提高单图像语义分割性能。
Apr, 2020
本文提出 DA-VSN 用于视频语义分割,该模型通过领域自适应实现了对不同领域视频间的域差距问题解决,并使用一种基于时序一致性的规则(TCR)来提高模型性能。
Jul, 2021
本文提出了一种新的、针对视频语义分割的无监督域自适应方法,通过视频对抗训练和视频自我训练等网络,在实验中取得了优异的成绩,表明这一方法可以有效地将模拟数据转移到实际场景中,缓解视频领域对数据的需求。
本文提出了一种基于无监督自学习框架的视频场景分割算法,采用三种新颖的边界感知预训练任务(SSM, CGM, PP),重点在于设计有效的预训练任务,通过广泛的实验结果表明,预训练和转移环境表示对于改善视频场景分割性能至关重要,并实现了 MovieNet-SSeg 基准测试的最新最好成绩。
Jan, 2022
提出了一种新的问题表述和相应的评估框架来推进无监督领域自适应语义图像分割的研究;介绍了一种在线学习的协议,旨在解决现有协议对于模型的领域局限性和离线学习性质导致算法难以在不断变化的环境中连续自适应的问题,并伴随着多种基准算法和广泛的行为分析。
Mar, 2022
提出了一种有效的自监督学习(SSL)框架,通过探索大量的数据增强和洗牌方法来提高模型的泛化能力,并引入一个简单的时间模型来验证镜头特征的质量,从而实现场景一致性。该方法在Video Scene Segmentation任务上取得了最先进的性能,并提出了更公平合理的评估方法。
May, 2022
通过引入双向多级时空融合模块和类别感知的时空特征对齐模块,提出了一种新颖的DA-STC方法来解决视频语义分割任务中的领域自适应问题,并在多个具有挑战性的基准测试上取得了最先进的mIOUs。
Nov, 2023
对于语义分割的无监督域自适应(DAS)的研究已经很丰富,本文通过比较图像和视频领域的DAS方法在一系列基准数据集上的表现,发现了一些有趣的现象并开源了相应的代码库。
Feb, 2024