AAAIMar, 2023

基于标签引导的遮蔽图像和类别感知变形器的不完整多视图多标签学习

PDF
TL;DR本文提出了一种基于 transformer 的多视图多标签学习框架，以解决多视图数据和多标签注释于模式识别中的应用。该框架通过设计两个基于 transformer 的模块对特征进行聚合和分类，并提出一种自适应视图融合模块解决视图表达的不平衡性，同时将标签约束到样本级表示学习中。五个数据集上的实验证实了该方法的有效性。
发现论文，激发创造
  • 掩膜式两通道解耦框架用于不完整多视图弱多标签学习

    提出了一种基于深度神经网络的掩码两通道解耦框架，用于解决复杂而高度逼真的不完全多视角弱多标签学习任务，核心创新在于将深度多视学习方法中的单通道视图级表示解耦为共享表示和视图专有表示，并设计了交叉通道对比损失以增强两个通道的语义属性。此外，利用监督信息设计了标签引导的图正则化损失，帮助提取的嵌入特征保持样本间的几何结构，并开发了随机片段掩码策略来改善编码器的学习能力。值得强调的是，我们的模型完全适应任意视图和标签缺失，并在理想完整数据上表现良好，在充分充足的实验证明了我们模型的有效性和先进性。

    Apr, 2024

  • 多视角矩阵补全多标签图像分类

    提出了一种基于多视图矩阵补全的半监督多标签图像分类方法，该方法充分利用不同视图的特征，并通过加权方式融合多视图矩阵补全的输出，同时使用交叉验证策略来学习视图组合权重和深度学习模型，经实验证明该方法相较于其他方法更加鲁棒有效。

    Apr, 2019

  • 非对齐不完全多视角和缺失多标签学习的简明但有效模型

    本论文致力于通过建立一种简洁而有效的模型来攻克学习来自多视角多标签数据的三大挑战：缺失标签、不完整视角和非对齐视角。我们利用多视角的一致性以及多个标签之间的全局和局部结构来缓解可用标签的不足。我们的实验结果表明，在五个真实数据集上，即使在没有视角对齐的情况下，我们的方法在性能上也显着优于最先进的视角对齐方法。

    May, 2020

  • 深度局部多视角学习

    提出跨部分多视角网络（CPM-Nets）框架，通过模拟数据传输实现多视角表征的完整性，并通过对抗策略稳定地翻译丢失视图的代价与补充性进行结构化编码，进一步增强数据的完整性，同时引入非参数分类损失，以防止过度拟合。全面实验证明了该算法在分级识别、表示学习和数据填充方面的优越性。

    Nov, 2020

  • 多视角表示学习调查

    本文介绍了多视图表示学习中的两个类别：多视图表示对齐和多视图表示融合，并从多个角度回顾了代表性的方法和理论，进而调查了多视图表示学习的发展。最终，探讨了多视图表示学习的几个重要应用，并旨在为研究人员提供深入的理论基础和最新的发展。

    Oct, 2016

  • 多视角伪标记用于视频半监督学习

    我们提出了一种多视角伪标记方法来进行视频学习，它利用外观和运动信息的互补视角进行半监督学习，以获取更可靠的伪标签并比纯监督数据学习更强的视频表示。我们的方法在多个视频识别数据集上大大优于其监督对应方法，并在自监督视频表示学习的标准基准测试中与先前的工作相比具有竞争优势，同时仍然训练一个共享外观和运动输入的模型，因此在推理时间不会产生额外的计算开销。

    Apr, 2021

  • 全局与局部的结合：基于类别感知弱监督的有效多标签图像分类

    该研究构建了一个统一框架，以执行有效的噪声提议抑制并相互作用全局和局部特征进行稳健的特征学习，包括使用类别感知弱监督来集中注意力于不存在的类别为本地特征学习提供确定性信息，以及开发跨粒度注意力模块来探索全局和局部特征之间的互补信息。在 MS-COCO 和 VOC 2007 两个大规模数据集上的广泛实验表明，该框架优于最先进的方法。

    Nov, 2022

  • 多视角聚类的共享生成潜在表示学习

    本文提出了一种基于共享生成潜在表征的多视角聚类方法，通过深度生成学习从视角中提取非线性特征并捕捉视角之间的相关性以达到更好的聚类性能，并在多个不同规模的数据集上得到了优于现有方法的实验结果。

    Jul, 2019

  • 基于单模态和多模态数据的联合表示学习与新类别发现

    该论文探讨了如何在单模态和多模态数据中发现新类别，提出了一种基于自监督表征学习的端到端框架来处理带有来自不同但相关类别的标签的数据，通过 WTA 哈希算法生成伪标签以更好地预测聚类分配结果，并在多个标准基准测试集上取得了最先进的成果。

    Apr, 2021

  • GuidedMix-Net：使用标记的图像作为参考学习改进伪掩码

    本文提出了一种基于混合数据的指导式半监督分割方法 GuidedMix-Net，并利用标记数据指导未标记数据的学习，该方法采用特征对齐和互信息传输的方法进行特征融合，同时提出伪标签生成模块用于生成高质量伪标签，联合训练标记数据和伪标签，实验验证了该方法在各种数据集中取得了具有竞争力的分割精度和显着改进的 mIoU。

    Jun, 2021