May, 2023

MSVQ: 多个样本视图和队列的自监督学习

PDF
TL;DR本文介绍了一种基于 Contrastive Learning 并受均值漂移启发的自监督学习框架 MSVQ，该框架通过引入多个正样本视角和两个负样本动量编码器形成各种语义特征，最终通过两个教师网络对学生进行知识传输并提高样本分类和识别的能力。该方法在四个基准图像数据集上取得了高效和高效的分类结果。
self-supervised learningcontrastive learningfalse negative samplesmsvqsemantic features
发现论文，激发创造
  • 半监督深度多视图立体

    本文提出了一种基于半监督学习的多视角立体视觉 (SE-MVS) 框架，其中一些 MVS 数据仅带有稠密深度地面实况。通过一致性正则化和样式一致性损失来提高深度估计的精度和完整性，实验结果表明该方法优于全监督和无监督方法。

    Jul, 2022

  • 通过有效的协同分割和数据增强实现自监督的多视图立体匹配

    针对现有自监督方法在多视图重建中可能出现的相关点之间颜色不同的问题，本文提出了一种基于语义共分割和数据增强的更可靠监督的框架，其中利用多视图图像中的相互语义来指导语义一致性，同时设计了有效的数据增强机制，以确保对样本的变换鲁棒性。在 DTU 数据集上的实验结果表明，我们提出的方法在无监督方法中取得了最先进的性能，并且甚至可以与有监督方法一较高下。此外，在 Tanks＆Temples 数据集上的广泛实验证明了该方法的有效泛化能力。

    Apr, 2021

  • 计算机视觉中的自监督多视角聚类：一项调查

    多视图聚类在跨模态表示学习和数据驱动决策方面具有重要影响；然而，随着对比学习在计算机视觉领域的不断发展，自监督学习也在多视图聚类方法中逐渐占主导地位。该论文探讨了自监督多视图聚类的原因、优势以及常见数据集、数据问题、表示学习方法和自监督学习方法的内部联系和分类，并介绍了各类方法的机制和应用示例。最后，提出了一些待进一步研究和发展的开放性问题。

    Sep, 2023

  • GenView: 使用预训练生成模型提升自监督学习的视图质量

    自监督学习通过从无标签数据中获取高质量的表示已经取得了显著的成功。GenView 是一个可控的框架，通过增加积极视角的多样性利用预训练生成模型的能力，同时保留语义。研究中引入了自适应视角生成方法来调整采样噪声水平，以确保保留基本语义意义并引入变异性。此外，引入了质量驱动的对比损失，通过考虑前景相似性和背景多样性评估正样本对的质量。GenView 明显改善了各种任务中的自监督学习性能，例如，在 ImageNet 线性 / 半监督分类上，GenView 将 MoCov2 的性能提高了 2.5％/2.2％。此外，与简单地使用 Laion400M 或 ImageNet21K 扩充 ImageNet 数据集相比，GenView 的性能更好。

    Mar, 2024

  • MVS^2: 多视图对称深度无监督多视图立体成像

    本文介绍了一种基于无监督学习的多视图深度图像学习方法，可以从多个视角的输入图像中学习深度和遮挡图像，并在训练和测试阶段都强制实施多视图深度一致性，进而为实际场景下处理遮挡提供更好的鲁棒性。

    Aug, 2019

  • 自监督多视角立体匹配中的不确定性探究

    提出了一种新的 UMVS 框架，通过估计自监督 MVS 中的认知不确定性来处理前景中的不确定监督和背景中的无效监督信号，并在 DTU 和 Tank＆Temples 基准测试中获得了最佳性能。

    Aug, 2021

  • 视角不一致下的多视图学习

    本文介绍了一种基于条件熵准则的多视图学习方法，可以检测视图不一致并过滤影响性能的样本，大大提高了传统多视图学习的性能。

    Jun, 2012

  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • 对比学习，多视角冗余和线性模型

    本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

    Aug, 2020

  • MNN：混合最近邻算法用于自监督学习

    通过引入最近邻样本和图像混合操作，该研究提出了一种名为 MNN 的简单自监督学习框架，优化了最近邻样本对正样本语义的影响，展示了在四个基准数据集上出色的泛化性能和训练效率。

    Nov, 2023