针对人类活动预测的对抗生成语法

ECCVAug, 2020

针对人类活动预测的对抗生成语法

Adversarial Generative Grammars for Human Activity Prediction

AJ Piergiovanni, Anelia Angelova, Alexander Toshev, Michael S. Ryoo

TL;DR该论文提出了一种敌对生成语法模型，可以显式地捕捉时间依赖关系和多个未来活动的预测能力，并通过选择多个生成规则来有效地模拟许多可能的未来，并在多个数据集上表现出更好的表现。

Abstract

In this paper we propose an adversarial generative grammar model for future prediction. The objective is to learn a model that explicitly captures temporal dependencies, providing a capability to forecast multiple, distinct future activities. Our adversarial grammar is designed so that

adversarial generative grammar model future prediction temporal dependencies activity prediction latent non-terminal representations

发现论文，激发创造

利用随机语法预测人类活动

本文提出了一种新的方法来从部分观察到的 RGB-D 视频中预测未来的人类活动，使用随机语法模型来捕捉事件的组成结构，作为一个空间时间 And-Or 图 (ST-AOG)，未来的子活动通过 Earley 解析算法预测，我们通过广泛的实验验证了我们模型在语义事件标记和未来活动预测方面的有效性。

Aug, 2017

通过学习任务语法来实现人类行为预测

本文介绍了一种新型的深度循环神经网络架构，通过对视频序列中人类活动的进度进行估计，间接地学习了与任务相关的语法，并使用叠加 LSTM 基于多粒度进度估计框架来学习任务语法，并证明了这种方法可以提高预测准确性，比基线的双流预测模型的准确性提高了 9% 以上，同时也优于其他竞争方案。该研究的重点在于人机交互的进展预测领域。

Sep, 2017

时间动作分割的活动语法

通过引入有效的活动语法，本文提出了一种新颖的语法归纳算法，可以从动作序列数据中提取强大的无上下文语法，并开发了一种高效的广义解析器，根据归纳的语法和递归规则将帧级概率分布转化为可靠的动作序列。实验结果表明，我们的方法在两个标准基准评估 Breakfast 和 50 Salads 上在性能和可解释性方面显著提高了时序动作分割。

Dec, 2023

预测未来：联合学习模型用于行动预测

本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

Dec, 2019

具有融合时空图灵活多产生器模型的轨迹预测

我们提出了一种轨迹预测框架，能够捕捉人行轨迹的社会交互变化和断开的流形，并通过灵活的生成器选择网络学习多个生成器之间的分布。该框架在不同的挑战性数据集上表现出与几个基线方法相比的最先进性能。

Nov, 2023

利用生成对抗网络的跨主体迁移学习在人类活动识别系统中的应用

本文介绍了一种名为 SA-GAN（Subject Adaptor GAN）的对抗性学习方法，利用生成式对抗网络框架在穿戴传感器人体活动识别领域进行跨主体迁移学习，表现优于其他现有的方法，准确性高达 90%。

Mar, 2019

Text2Action: 从语言到行为的生成对抗合成

本文提出了一种基于生成对抗网络 (GAN) 的生成模型，通过学习自然语言和人类行为之间的关系，在给定人类行为描述的句子的情况下生成一个人类行为序列；使用这个模型，可以使用文本编码器 RNN 和行为解码器 RNN 为机器人或虚拟代理人合成各种操作，并通过大规模视频数据集 MSR-Video-to-Text (MSR-VTT) 进行训练，生成能够转移到 Baxter 机器人上的人类操作。结果表明，该生成对抗网络正确地建立了语言和行为之间的关系，可以从同一句子中生成不同的动作。

Oct, 2017

通过建模远期来提升对抗文本生成

我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

May, 2020

关于生成式基础模型对人类活动识别的好处

通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

Oct, 2023

多级序列 GAN 用于组活动识别

提出一种新颖的半监督、多层级顺序生成对抗网络（MLS-GAN）架构来进行群体活动识别，该网络架构利用个人和场景等级的特征，通过 LSTMs 实现映射，通过新颖的门控融合单元进行基于动作的特征融合，学习当前群体活动的中间表示或 “动作代码”，并具有半监督行为，可实现群体动作分类，相较于其他结构表现出更优秀的效果。

Dec, 2018