Dec, 2023

少样本动作识别的一致性原型模块与运动补偿

PDF
TL;DR最近，通过学习特征可辨性和设计合适的比较方法，少样本动作识别取得了显著进展。我们提出了一种 Consistency Prototype 和 Motion Compensation Network（CLIP-CP$M^2$C）来解决视觉、标签和运动特征的限制，并通过广泛实验验证了该方法的优越性能。
发现论文，激发创造
  • CLIP 多模态适应用于少样本动作识别

    本文提出了一种名为 MA-CLIP 的新方法，旨在通过添加轻量级适配器来适应 CLIP 进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。

    Aug, 2023

  • 流动中的观察：使用动作提示学习来适应 CLIP 的动作识别

    通过对视频帧中的运动线索进行建模、利用动态提示学习器生成与人类动作相关的运动感知提示并通过多模态交流模块实现协作学习，我们的方法在少样本学习和零样本学习中具有显著优势，并在少参数和额外计算成本的条件下实现了竞争性性能。

    Aug, 2023

  • 多模式原型增强网络用于少样本动作识别

    本文提出了一种基于多模态原型的增强网络（MORN），用于少样本动作识别，包括两个模态流，使用标签文本的语义信息作为多模态信息来增强原型，采用原型相似度差异（PRIDE）评价原型的性能，在四个流行数据集上取得了最先进的结果。

    Dec, 2022

  • ActionCLIP：视频动作识别的新范式

    本研究提出了一种基于视觉 - 文本匹配的多模态学习框架，通过对标签文本的语义信息进行建模，并提出了一种新的 “预训练、提示和微调” 范例，以实现零样本行动识别。实验结果表明，ActionCLIP 模型不仅具有卓越的零样本 / 少样本的迁移能力，而且在 Kinetics-400 数据集上也取得了 83.8% 的高准确度表现。

    Sep, 2021

  • M2-CLIP: 视频动作识别的多模态多任务自适应框架

    该研究介绍了一种名为 \name 的新型多模态、多任务 CLIP 自适应框架，通过引入多模态适配器和多任务解码器，实现强大的监督学习性能和在零样本场景中的强大泛化能力。

    Jan, 2024

  • 基于复合样本原型匹配的小样本动作识别

    本论文提出了一种新颖的方法，将视频汇总为由一组全局原型和一组聚焦原型组成的复合原型，并基于原型进行视频相似性比较，进而用于小样本动作识别，实验结果显示该方法在多个基准测试上达到了最先进的成果。

    Jul, 2022

  • Proto-CLIP: 视觉 - 语言原型网络在少样本学习中的应用

    我们提出了一种利用 CLIP 等大规模视觉语言模型进行少样本学习的新框架 PROT0-CLIP。该框架通过图像原型和文本原型实现少样本学习，并通过对齐相应类别的图像和文本原型来提高分类效果。我们通过在少样本学习的基准数据集上以及在机器人感知领域的实际应用中进行实验证明了我们方法的有效性。

    Jul, 2023

  • CyCLIP: 循环对比语言 - 图像预训练

    介绍了一种改进的对比表示学习框架 CyCLIP，通过显式对图像和文本空间的几何一致性进行优化，提高了模型的一致性和表现在零样本分类和分布不变性方面。在标准基准测试中，与 CLIP 相比，零样本分类准确率和对自然分布变化的鲁棒性分别提高了 10%-24% 和 10%-27%。

    May, 2022

  • CPCL：跨模态原型对比学习弱监督的基于文本的人员再识别

    提出了一种基于弱监督的文本驱动的人物重识别方法，使用跨模态原型对比学习和多模态记忆模块来改善检索性能。

    Jan, 2024

  • Vita-CLIP: 基于多模态提示的视频和文本自适应 CLIP

    本文介绍了一种多模态提示学习方案，该方案在单一统一的训练下平衡了监督和零样本学习的表现，并提出了视觉和文本方面的提示方案，通过保持预训练的骨干网络冻结，在保留现有的通用表示的同时实现了最先进的零样本效果。

    Apr, 2023