MMOct, 2021

视频分割中的感知一致性

PDF
TL;DR本文提出了一种基于感知一致性的视频语义分割方法，既可以捕捉时序一致性，又可以捕捉像素级的正确性。利用感知一致性方法对视频中连续帧的分割图进行一致性度量，可以更准确地评估视频分割的时序一致性，并且可以通过将感知一致性与分割置信度相结合，更有信心地预测未标记测试帧上的分割准确性。此外，所提出的方法还可以作为模型训练的一种正则化约束，以实现更加时序一致的视频分割同时保持准确度。
发现论文，激发创造
  • 像素对比一致性半监督语义分割

    提出一种新型半监督语义分割方法，结合像素级 L2 损失和像素对比损失以实现两个分割模型规则：图像增强之间的标签空间一致性性质和不同像素之间的特征空间对比性质，采用 DeepLab-v3+ 结构和多个数据集进行了广泛的实验，表现出最先进的性能。

    Aug, 2021

  • 测量人类视觉分割的不确定性

    通过像素为基础的判断和模型重构，本文探讨了说同异不同判断和图像不确定性如何影响感知分割和各个特征的权重，并将其应用于自然图像和复合材料纹理的分割，以对感知理论进行定量测试和创造分割算法的新基准。

    Jan, 2023

  • 基于语义对应的时序一致自动视频上色

    该研究提出了一种新的视频着色框架，它将语义对应引入自动视频着色中以保持长程一致性，通过自动着色参考图像来监督整个着色过程，并且引入了语义对应网络和图像着色网络以保持临近帧和长期帧的时间一致性，实验证明该方法在维持时序一致性方面优于其他方法。

    May, 2023

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 带交叉一致性训练的半监督语义分割

    本文提出了一种新型的基于交叉一致性的半监督语义分割方法，其中共享编码器和主解码器进行有监督训练，利用无标签数据来提高编码器的表示，该方法简单易懂，并且在多个数据集上实现了最先进的结果。

    Mar, 2020

  • 学习为视频全景分割关联每个段落

    本文探讨了如何通过学习粗略的分段级别和细微的像素级别匹配来实现动态场景的全景理解，提出了两个新颖的学习目标，并采用深度孪生模型来验证提议，最终在 Cityscapes-VPS 和 VIPER 数据集上实现了新的最新成果，同时也提高了模型的时间效率。

    Jun, 2021

  • 从视频学习时空一致性以提高语义分割

    利用无监督学习深度、自我运动和相机内在参数，通过在视频帧之间施加三维几何和时间一致性，从而提高单图像语义分割性能。

    Apr, 2020

  • 基于遮罩视频一致性的 VSPW 数据集语义分割

    我们提出了基于现有模型的基于蒙版视频一致性 (MVC) 的解决方案，通过在预测过程中强制保持遮挡帧之间的一致性来学习蒙版部分的分割结果和视频的前后帧之间的关系，同时采用测试时增强、模型聚合和多模态模型后处理方法，该方法在 VSPW 数据集上获得了 67.27％的 mIoU 性能，在 PVUW2024 挑战 VSS 跟踪中排名第 2。

    Jun, 2024

  • 在线人脸活体检测中提高时间一致性

    本研究旨在改善在线人脸活体检测系统，提高下游人脸识别系统的安全性。提出了一种基于时间一致性的简单而有效的解决方案，包括在训练阶段引入时间一致性约束的方法和开发出一个无需训练的非参数不确定性估计模块，以适应各种场景的演示攻击，并且在计算复杂度更低的情况下比现有方法在多个公共数据集上至少提高 40％的 ACER 值，具有很大的潜力应用于低延迟的在线应用。

    Jun, 2020

  • 联合光流和时间一致性语义分割

    本文提出了一种同时估计光流和时间连续的语义分割的方法，将这两个问题领域紧密相连并相互利用，从而使场景理解的重要性和需求与自主系统的积极发展不断增加，并对 KITTI 基准测试中的性能进行了演示。

    Jul, 2016