Dec, 2022

多模式原型增强网络用于少样本动作识别

PDF
TL;DR本文提出了一种基于多模态原型的增强网络（MORN），用于少样本动作识别，包括两个模态流，使用标签文本的语义信息作为多模态信息来增强原型，采用原型相似度差异（PRIDE）评价原型的性能，在四个流行数据集上取得了最先进的结果。
few-shot action recognitionmultimodal prototype-enhanced networklabel textsclip visual encoderprototype evaluation metric
发现论文，激发创造
  • 少样本动作识别的一致性原型模块与运动补偿

    最近，通过学习特征可辨性和设计合适的比较方法，少样本动作识别取得了显著进展。我们提出了一种 Consistency Prototype 和 Motion Compensation Network（CLIP-CP$M^2$C）来解决视觉、标签和运动特征的限制，并通过广泛实验验证了该方法的优越性能。

    Dec, 2023

  • Proto-CLIP: 视觉 - 语言原型网络在少样本学习中的应用

    我们提出了一种利用 CLIP 等大规模视觉语言模型进行少样本学习的新框架 PROT0-CLIP。该框架通过图像原型和文本原型实现少样本学习，并通过对齐相应类别的图像和文本原型来提高分类效果。我们通过在少样本学习的基准数据集上以及在机器人感知领域的实际应用中进行实验证明了我们方法的有效性。

    Jul, 2023

  • CLIP 多模态适应用于少样本动作识别

    本文提出了一种名为 MA-CLIP 的新方法，旨在通过添加轻量级适配器来适应 CLIP 进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。

    Aug, 2023

  • M2-CLIP: 视频动作识别的多模态多任务自适应框架

    该研究介绍了一种名为 \name 的新型多模态、多任务 CLIP 自适应框架，通过引入多模态适配器和多任务解码器，实现强大的监督学习性能和在零样本场景中的强大泛化能力。

    Jan, 2024

  • ActionCLIP：视频动作识别的新范式

    本研究提出了一种基于视觉 - 文本匹配的多模态学习框架，通过对标签文本的语义信息进行建模，并提出了一种新的 “预训练、提示和微调” 范例，以实现零样本行动识别。实验结果表明，ActionCLIP 模型不仅具有卓越的零样本 / 少样本的迁移能力，而且在 Kinetics-400 数据集上也取得了 83.8% 的高准确度表现。

    Sep, 2021

  • 跨模态原型驱动网络用于放射学报告生成

    本文介绍一种名为 XPRONET 的交叉模态原型驱动的网络来生成放射学报告，并在 IU-Xray 和 MIMIC-CXR 基准测试中实现了与最新技术相比显著的改进和相当的表现。

    Jul, 2022

  • MobileCLIP: 多模态加强训练的快速图像 - 文本模型

    在这项研究中，我们引入了 MobileCLIP 这个新的高效图像 - 文本模型系列，通过一种名为多模态增强训练的新颖且高效的训练方法，利用图像字幕模型和一组强大的 CLIP 编码器中的知识转移，将额外的知识存储在增强数据集中而避免了训练时计算开销，从而实现了零样本分类和检索任务的新的最佳延迟 - 准确性权衡。

    Nov, 2023

  • 多模态文本识别网络：视觉和语义特征之间的交互增强

    本篇论文介绍了一种名为 MATRN（Multi-modAl Text Recognition Network）的新方法，通过促进视觉和语义特征之间的互动，提高了文字识别的性能，并证明其在 7 项基准测试上取得了最先进的表现。

    Nov, 2021

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 多模态提示变换器与混合对比学习用于对话中的情感识别

    多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

    Oct, 2023