CVPRMar, 2022

面向对齐一致性的零样本视频分类表示学习

PDF
TL;DR该论文提出了一个端到端的框架，用于在被观察和未被观察的类别上均保留对比和一致性特性的视觉 - 语义表示，通过同时进行对齐和鼓励学习特征分布均匀的监督式对比损失来促进模型的泛化能力，实验结果表明该方法在 UCF101 和 HMDB51 上的相对改进分别达到 28.1% 和 27.0%。
zero-shot video classificationgeneralizabilitysupervised contrastive lossalignmentuniformity
发现论文，激发创造
  • 使用 GAN 进行视觉数据合成，用于零样本视频分类

    本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

    Apr, 2018

  • 通过超球面上的对准和均一性理解对比表示学习

    文章证明了反差编码的损失函数在无限时刻能够最优化归一化特征空间的相似度与均匀分布，并通过实验优化这两个特征的评估，在视觉和语言数据上显著提高效果。

    May, 2020

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 基于熵的不确定性校准用于广义零样本学习

    提出一种新的框架，利用双重变分自编码器和三元组损失学习区分性潜在特征，并应用基于熵的校准来最小化见和未见类之间重叠区域的不确定性，在六个基准数据集上进行的实验表明，该方法胜过现有的最先进方法。

    Jan, 2021

  • Harmony: 一种联合自监督和弱监督框架，用于学习通用的视觉表示

    本研究中，我们提出了一种名为 Harmony 的框架，它结合了视觉 - 语言训练和辨别性自监督以及生成性自监督，以学习能够在视觉下游任务中被泛化的视觉特征。我们全面评估了 Harmony 在各种视觉下游任务上的性能，并发现它在 ImageNet-1k 上的微调和零样本分类、ADE20K 上的语义分割以及 MS-COCO 上的目标检测和实例分割等任务中明显优于基线 CLIP 和先前领先的联合自监督和弱监督方法 MaskCLIP 和 SLIP。与其他自监督学习方法（如 iBOT 和 MAE）相比，我们还展示了 Harmony 在所有评估任务上的优越性能。

    May, 2024

  • 从零样本学习到传统监督分类：未见过的视觉数据合成

    该研究提出了一种新的零样本学习框架，并基于 Unseen Visual Data Synthesis 算法，利用语义属性有效地合成未见过的视觉特征，以解决实际应用中缺乏带标注样本的问题，并证实其能够显著提高现有技术水平。

    May, 2017

  • 跨模态表示学习用于零样本动作识别

    本篇研究提出了一种基于跨模态 Transformer 的框架，用于零样本动作识别，其将视频数据和文本标签进行联合编码，并通过一个新的管道来构建视觉和语义表示之间的共享知识空间，其中包括了一个语义传递的策略，通过将已有和未见的课程联合在一起，提高了在 UCF101、HMDB51 和 ActivityNet 基准数据集中的顶级准确度。

    May, 2022

  • 多模态循环一致的广义零样本学习

    本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

    Aug, 2018

  • 泛零样本学习生成对抗网络

    本文研究了广义零样学习问题，提出了一种新的模型联合了三种不同的方法：视觉 -> 语义映射，语义 -> 视觉映射和度量学习，并且将它们统一在一个框架内，最终的实验结果表明该模型不仅在分类已知类别的图像上具有较高的准确性，而且在分类未知类别的图像上性能也比现有的最先进模型要更好。

    Nov, 2018

  • 通过自我结构语义对齐实现真实零样本分类

    我们提出了 Self Structural Semantic Alignment (S^3A) 框架，该框架通过从无标签数据中提取结构语义信息并进行自学习，克服了传统的基于大规模预训练视觉语言模型方法所存在的假设有部分源监督或理想词汇表的限制，通过 Cluster-Vote-Prompt-Realign 算法实现迭代聚类，利用大语言模型生成辨别性提示来识别混淆的类别候选项，并通过师生学习策略进行自学习，实现了对现实中零样本分类的挑战，多个实验表明该方法明显优于现有的基于 VLMs 的方法，相对于 CLIP 平均提高了 15% 以上的准确性。

    Aug, 2023