零样本动作和物体组合生成视频

ECCVDec, 2019

Generating Videos of Zero-Shot Compositions of Actions and Objects

Megha Nawhal, Mengyao Zhai, Andreas Lehrmann, Leonid Sigal, Greg Mori

TL;DR本研究提出了一种零样本组合条件下生成人物 - 物品交互视频的方法，并使用一种新型对抗框架 HOI-GAN 进行探索和验证，在两个具有挑战性的数据集：EPIC-Kitchens 和 20BN-Something-Something v2 上进行了广泛的定量和定性评估。

Abstract

Human activity videos involve rich, varied interactions between people and objects. In this paper we develop methods for generating such videos -- making progress toward addressing the important, open problem of video generation in complex scenes. In particular, we introduce the task o

human-object interaction zero-shot compositional video generation hoi-gan adversarial framework

发现论文，激发创造

零構人體多人舞蹈生成

提出了一种名为 MultiDance-Zero 的零样本框架，用于合成符合任意多人和背景的视频，同时准确地遵循动作姿势，通过深入回溯获取最终清晰图像的背景和关键点，从而进一步提高生成视频的时序一致性。

Jan, 2024

基于 Transformer 的人物 - 对象交互检测中的组合学习

人物 - 物体互动（HOI）检测是理解人类活动和视觉场景的重要组成部分。本研究通过引入 transformer-based 框架，重新组合不同 HOI 实例中的人物 - 物体对表示和互动表示，从而获得更丰富的上下文信息，提高知识的泛化能力，并实现一种简单而有效的方法，其在稀有 HOI 类别上表现出卓越的性能。

Aug, 2023

从多样化的物体场景组合中的零样本行为识别

本研究提出了基于物体和场景组成误差与多样性要求的无监督零样本动作识别方法，该方法不需要已训练的视频集，能够有效地提高动作识别效果。

Oct, 2021

GenZI: 零 Shot 3D 人物场景交互生成

可以不借助任何 3D 人 - 场景交互数据合成 3D 人与场景交互吗？我们提出了 GenZI，这是第一个零样本方法，用于生成 3D 人与场景的交互。GenZI 的关键在于从大型视觉 - 语言模型 (VLMs) 中提取交互先验知识，这些先验知识学习了丰富的二维人 - 场景组合的语义空间。通过给定自然语言描述和 3D 场景中所需交互的粗略点位置，我们首先利用 VLMs 来想象描绘在场景的多个渲染视图中的可信的二维人交互。然后，我们通过与 2D 交互假设的一致性引导，制定一个鲁棒的迭代优化过程，合成场景中的 3D 人模型的姿态和形状。与现有的基于学习的方法相比，GenZI 避免了传统上对捕获的 3D 交互数据的需求，并允许使用简单易用的文字提示对 3D 交互合成进行灵活控制。大量实验证明我们的零样本方法具有高灵活性和广泛适用性，可适用于包括室内和室外环境在内的各种场景类型。

Nov, 2023

通过将 3D 游戏引擎和概率图模型相结合生成人类动作视频

本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法，它可以生成一个包含 39,982 个视频的数据集，其中包括 35 个不同的动作类别。通过结合小的真实数据集，我们的方法可以显著提高视频行为识别性能，即使这些数据集的动作类别不同。

Oct, 2019

通过视觉语言集成实现零样本人 - 物体交互检测

本研究提出了一种名为 KI2HOI 的新型框架，用于有效整合视觉语言模型的知识，从而改进零样本人物 - 物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式，设计了基于视觉语义的动词特征学习模块。通过有效的加性自注意机制生成更全面的视觉表示。此外，创新的交互表示解码器通过交叉注意机制，有效地提取信息丰富的区域。为了处理低数据中的零样本学习，利用 CLIP 文本编码器的先验知识，为增强交互理解初始化线性分类器。在主流的 HICO-DET 和 V-COCO 数据集上进行的大量实验证明，我们的模型在各种零样本和全监督设置上优于以前的方法。

Mar, 2024

ConsNet: 学习一致性图以用于零样本人 - 物交互检测

提出了一种基于 ConsNet 的多层次一致性表示的知识感知框架，它在 V-COCO 和 HICO-DET 数据集上优于现有方法，同时利用 Graph Attention Networks 在图形中传播知识。

Aug, 2020

通过程序生成视频以训练深度动作识别网络

通过建立一个可解释的参数生成数码，我们使用程序生成和其他现代游戏引擎的计算机图形技术生成了一组逼真、多样化和符合物理规律的人类动作视频，含 39,982 个视频。利用 UCF101 和 HMDB51 数据集的实验表明，我们的方法可以通过结合使用大量合成视频和小型真实数据集，大幅提高识别性能，明显优于现有的无监督生成模型的微调。

Dec, 2016

InterDreamer: 零激活文本向三维动态人物 - 物体交互

通过使用预训练的大型模型和文本到动作模型，本文介绍了一种名为 InterDreamer 的框架，能够以零样本的方式生成与文本指令无缝对齐的逼真和连贯的 3D 人物 - 物体交互序列。

Mar, 2024

通过翻译人类交互计划实现推广的零射击操作

我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

Dec, 2023