Mar, 2021

SocialInteractionGAN: 多人互动序列生成

PDF
TL;DR本文介绍了 SocialInteractionGAN—— 一种新颖的基于数据驱动的对抗性生成网络框架，其旨在以单模态展示的相互作用为重点，以离散多序列生成问题为基础，以建立在递归编码器 - 解码器生成网络和双流鉴别器之上的方法来处理相互作用的生成问题。实验结果表明，SocialInteractionGAN 能成功地生成以人为中心的高真实感互动动作序列，这对社交机器人或人工头像的设计具有重要应用。
发现论文，激发创造
  • 社交 GAN：具有生成对抗网络的社交可接受行迹

    通过将序列预测和生成对抗网络的工具相结合，我们成功地解决了自动移动平台中的人体运动行为预测问题，并在准确性，多样性，碰撞避免和计算复杂性方面胜过了以往的工作。

    Mar, 2018

  • 使用具有类别感知鉴别器的基于 GAN 的交互式动作合成模型用于人际交互

    该论文提出了一个半监督 GAN 系统，用于合成一个角色的反应动作，给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督，证明了该系统的有效性和鉴别性。

    Oct, 2021

  • Text2Action: 从语言到行为的生成对抗合成

    本文提出了一种基于生成对抗网络 (GAN) 的生成模型，通过学习自然语言和人类行为之间的关系，在给定人类行为描述的句子的情况下生成一个人类行为序列；使用这个模型，可以使用文本编码器 RNN 和行为解码器 RNN 为机器人或虚拟代理人合成各种操作， 并通过大规模视频数据集 MSR-Video-to-Text (MSR-VTT) 进行训练，生成能够转移到 Baxter 机器人上的人类操作。结果表明，该生成对抗网络正确地建立了语言和行为之间的关系，可以从同一句子中生成不同的动作。

    Oct, 2017

  • 多模态多人行为生成建模

    提出了一种建模和预测人类行为的方法，将人类建模为图形模型中的节点，并为每个人学习多模态概率分布，以预测日常交互中的未来行为。

    Mar, 2018

  • 多级序列 GAN 用于组活动识别

    提出一种新颖的半监督、多层级顺序生成对抗网络（MLS-GAN）架构来进行群体活动识别，该网络架构利用个人和场景等级的特征，通过 LSTMs 实现映射，通过新颖的门控融合单元进行基于动作的特征融合，学习当前群体活动的中间表示或 “动作代码”，并具有半监督行为，可实现群体动作分类，相较于其他结构表现出更优秀的效果。

    Dec, 2018

  • Social-BiGAT: 使用自行车生成对抗网络和图神经网络的多模态轨迹预测

    本论文提出了 Social-BiGAT，一种基于图形的生成对抗网络，可通过更好地建模场景中行人之间的社交互动来生成逼真的多模态轨迹预测。与现有文献相比，我们通过图形注意力网络（GAT）学习可靠的特征表示来编码场景中人类之间的社会互动，以及逆变换场景和潜在噪音向量之间的关系，相对于其他基准测试结果，该框架实现了最先进的性能。

    Jul, 2019

  • SeqGAN: 带策略梯度的序列生成对抗网络

    本文提出了一种名为 SeqGAN 的序列生成框架，该框架将数据生成器建模为强化学习中的随机策略，通过直接执行梯度策略更新来绕过生成器差异化问题，并利用蒙特卡罗搜索将 RL 奖励信号从 GAN 鉴别器传递回中间状态动作步骤。在合成数据和现实世界任务上的广泛实验表明，SeqGAN 比强基线模型有了显著的改进。

    Sep, 2016

  • StoryGAN：用于故事可视化的序贯条件 GAN

    本研究提出了一种新的任务 —— 故事可视化，为每个句子生成一张图像，针对图像连续性与场景和角色的全局一致性的挑战，构建了基于顺序条件 GAN 框架的故事到图像序列生成模型 ——StoryGAN，并通过质量和一致性指标优于现有模型。

    Dec, 2018

  • 社交方式：使用 GAN 学习行人轨迹的多模态分布

    本文提出了一种基于 GAN 和 Info-GAN 的行人运动预测方法，通过去除 L2 损失函数并使用多模态预测方式，成功避免了 GAN 中的 mode collapsing 和 dropping 问题，同时在真实数据和合成数据上的实验表明，该方法能够生成更多样化的预测结果，并且能够保留预测分布的模态。

    Apr, 2019

  • HP-GAN：通过 GAN 实现的概率三维人体动作预测

    本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法，用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务；该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练，并进行了多种动作类型和数据集的测试，其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。

    Nov, 2017