本研究提出了一种基于视觉 - 文本匹配的多模态学习框架，通过对标签文本的语义信息进行建模，并提出了一种新的 “预训练、提示和微调” 范例，以实现零样本行动识别。实验结果表明，ActionCLIP 模型不仅具有卓越的零样本 / 少样本的迁移能力，而且在 Kinetics-400 数据集上也取得了 83.8% 的高准确度表现。

Sep, 2021

通过创新地将视频模型与大型语言模型相结合，本研究采用基于行动条件的提示方法来增强文本嵌入的人类先验知识，从而在开放词汇视频动作识别中实现了新的最佳性能，并具有优越的可解释性。

Dec, 2023

本文介绍了一种通过生成式预训练学习得到的视觉表示，用于有效地加速并提高多种任务下视觉增强学习系统性能和效率的框架。我们在视频数据上预训练了一个无动作潜在视频预测模型，并将这些表示用于未知环境下的学习操作条件下的世界模型。我们还引入了一个新的架构，该架构在预训练的无动作预测模型的基础上堆叠了一个动作条件潜在预测模型，以更好地实现探索。同时也提出了基于视频的内在激励奖励机制，利用预训练表示的优势，有效提升了数据利用率和最终权能的完成度。

Mar, 2022

通过建立一个可解释的参数生成数码，我们使用程序生成和其他现代游戏引擎的计算机图形技术生成了一组逼真、多样化和符合物理规律的人类动作视频，含 39,982 个视频。利用 UCF101 和 HMDB51 数据集的实验表明，我们的方法可以通过结合使用大量合成视频和小型真实数据集，大幅提高识别性能，明显优于现有的无监督生成模型的微调。

Dec, 2016

通过联合生成姿势预测和区分性上下文匹配的方式，我们设计了一种专用于动作识别的协同自监督视频表示学习框架（CSVR），其中包括三个支路：生成姿势预测支路、区分性上下文匹配支路和视频生成支路。这种方法在 UCF101 和 HMDB51 数据集上取得了最先进的性能。

Jan, 2024

本文提出了一种基于生成对抗网络 (GAN) 的生成模型，通过学习自然语言和人类行为之间的关系，在给定人类行为描述的句子的情况下生成一个人类行为序列；使用这个模型，可以使用文本编码器 RNN 和行为解码器 RNN 为机器人或虚拟代理人合成各种操作， 并通过大规模视频数据集 MSR-Video-to-Text (MSR-VTT) 进行训练，生成能够转移到 Baxter 机器人上的人类操作。结果表明，该生成对抗网络正确地建立了语言和行为之间的关系，可以从同一句子中生成不同的动作。

Oct, 2017

本研究提出了一个检索增强的框架，使用特征描述性词语作为 dense retriever，从无标注的语料库中创建训练数据，以便在与基于大型自然语言生成模型相比节省 70% 的时间内，取得优于最强基线 4.3% 的成绩。

May, 2023

本文提出了一种新颖的分层强化学习框架，用于视频字幕生成，该框架让高级管理器模块学习设计子目标，低级工作模块识别基本动作以实现子目标，实验证明我们的方法在细粒度视频字幕生成方面优于其他基线方法，并在已广泛使用的 MSR-VTT 数据集上达到了最佳效果。

Nov, 2017

使用自监督学习方法，对图像 CLIP 模型进行语言约束的调整，以适应视频领域，提高三个行动识别基准测试的零样本和线性探测性能。

Jul, 2023

本论文提出一种基于生成对抗网络的动作识别框架，使用大规模视频活动数据集上的深度卷积生成对抗网络（DCGAN）进行无监督学习，然后通过有标签数据集对已训练的鉴别器进行微调，实现准确识别人类活动的半监督学习。其中本文找到了好的网络架构和超参数以最大化鉴别器的效果。这种只使用外观信息的半监督学习方法达到了目前半监督动作识别方法，如 UCF101 和 HMDB51 等，的优劣表现。

Jan, 2018