May, 2023

动作识别的 Prompt 学习

PDF
TL;DR本文提出了一种基于 Prompt Learning 的 Action Recognition 新方法 PLAR，表现优于先前方法，包括通过光流、大型视觉模型和可学习提示等改进识别性能，模型通过共享相同的目标，同时优化引导模型预测的提示和输入不变（prompt experts pool）和输入特异性（data-dependent）提示知识。在场景为多代理人和单代理人的数据集上进行了评估，得出实用结果并计划在 WWW 上发布代码。
action recognitionprompt learningoptical flowmulti-agent actionsinput-invariant
发现论文，激发创造
  • 生成用于开放词汇视频动作识别的动作条件提示

    通过创新地将视频模型与大型语言模型相结合，本研究采用基于行动条件的提示方法来增强文本嵌入的人类先验知识，从而在开放词汇视频动作识别中实现了新的最佳性能，并具有优越的可解释性。

    Dec, 2023

  • ActionCLIP：视频动作识别的新范式

    本研究提出了一种基于视觉 - 文本匹配的多模态学习框架，通过对标签文本的语义信息进行建模，并提出了一种新的 “预训练、提示和微调” 范例，以实现零样本行动识别。实验结果表明，ActionCLIP 模型不仅具有卓越的零样本 / 少样本的迁移能力，而且在 Kinetics-400 数据集上也取得了 83.8% 的高准确度表现。

    Sep, 2021

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • Bridge-Prompt: 论说明视频中的序数动作理解

    本文提出了基于 Bridge-Prompt（Br-Prompt）的框架，使用文本提示来模拟相邻行为之间的语义，并通过对比方法共同训练文本编码器和视频编码器。Br-Prompt 在几个视频数据集上均取得了最先进的成果。

    Mar, 2022

  • 分布式学习

    提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

    May, 2022

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • PLOT-TAL -- 基于优化输运的少样本时序动作定位的提示学习

    本论文介绍了一种新颖的少样本学习中的时间动作定位 (TAL) 方法，通过在实际视频中泛化不同情境的能力来解决常规单提示学习方法存在的过拟合问题。采用多提示学习框架，增强了每个动作的一组多样化提示，更有效地捕捉通用特征并减少过拟合风险。此外，利用最优输运理论，高效地将这些提示与动作特征对齐，优化了适应视频数据多方面特性的综合表示。实验证明了我们提出的多提示最优输运方法在 THUMOS-14 和 EpicKitchens100 的标准数据集上能够显著提高少样本 TAL 方法的定位准确性和鲁棒性，突出了其有效性。

    Mar, 2024

  • LLARVA: 视觉动作指令调整增强机器人学习

    通过使用纯指令调整的 Large Multimodal Models（LMMs），我们引入了 LLARVA 模型，该模型通过使用结构化提示统一了一系列机器人学习任务、场景和环境，并且利用预测中间的 2D 表达，即 “视觉迹线”，进一步对齐了视觉和动作空间，使得模型在不同的机器人环境和配置中得到了较好的泛化性能。

    Jun, 2024

  • 学习无行动行动

    通过从无动作演示中推断潜在动作，我们介绍了一种名为 LAPO 的方法，它可以有效地预训练深度强化学习模型，并且可以快速微调以实现专家级表现。这为在网上大量的无动作演示中预训练强大而通用的强化学习模型提供了重要基础。

    Dec, 2023

  • ViLP: 通过视觉、语言和姿势嵌入进行视频动作识别的知识探索

    本研究提出了首个基于姿势增强的视觉语言模型（VLM）用于视频动作识别，该方案在 UCF-101 和 HMDB-51 两个常用数据集上分别达到 92.81% 和 73.02% 的准确率，在动态学习预训练后准确率分别达到 96.11% 和 75.75%。

    Aug, 2023