Oct, 2019

是否使用 React：面向双人对话的个性化化身姿态预测

PDF
TL;DR本文提出了一种名为 Dyadic Residual-Attention Model（DRAM）的神经网络结构，通过选择性注意力整合单向和双向动态，以生成人物姿势序列，从而改善虚拟代表（avatar）的远程存在感，进而在双向交流中展现出更自然的人物姿势，并进行实验验证和用户研究，证实该模型在预测 avatar 姿势方面比非自适应的单向 / 双向模型更有效，更逼真。
nonverbal communicationavatarneural architecturedyadic interactionadaptive attention
发现论文，激发创造
  • 社会行为生成的二人互动建模

    人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

    Mar, 2024

  • 学习聆听：建模非确定性二元面部动作

    该论文提出了一个交互式对话的建模框架，通过结合说话人的动作、对话音频和可能的相应听众动作输出来捕捉非口头双人互动的多模态和非确定性特征，还使用了运动 - 音频交叉注意力变换将说话人的运动和语音音频结合起来，并通过运动编码 VQ-VAE 学习了对真实听众运动的离散潜在表示。

    Apr, 2022

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • 音频至照片级虚拟人物：对话中的人物合成

    我们提出了一个框架，用于生成根据对话动态姿势的真实感十足的全身虚拟人物。通过给定的语音音频，我们输出一个人的多个姿势动作可能性，包括面部、身体和手部动作。我们的方法的关键在于将向量量化的样本多样性与扩散所获得的高频细节相结合，以生成更动态、富有表现力的运动。我们使用高度逼真的虚拟人物来可视化生成的动作，能够表达姿势中的重要细微之处（如冷笑和假笑）。为了促进这项研究，我们介绍了一种首次出现的多视角对话数据集，可以进行逼真的重建。实验证明，我们的模型生成了适当且多样化的姿势动作，优于仅使用扩散或仅使用向量量化的方法。此外，我们的感知评估突出了逼真（与网格）对准确评估对话姿势中的细微运动细节的重要性。代码和数据集可在线获取。

    Jan, 2024

  • 基于深度神经网络的逼真面对面对话系统

    本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

    Aug, 2019

  • AdaMesh：基于语音驱动的个性化 3D 人脸动画

    通过 AdaMesh 方法，我们能够从仅有大约 10 秒的参考视频中学习个性化的说话风格，生成生动的面部表情和头部姿势，超过了现有方法并保留了参考视频中的说话风格。

    Oct, 2023

  • 面向目标驱动的二元交流的情感面孔

    本研究介绍了一种视频框架，用于建模双人对话中口头和非口头交流之间的关联，提出了一种通过大型语言模型和视觉 - 语言模型构成的对话建模方法，并提出了一种新的无剧本对话视频数据集，实验和可视化结果表明，该方法能够生成显著更具社交适切性的监听者。

    Jan, 2023

  • 舞动的阿凡达：基于姿势和文本引导的人体动作视频合成与图像扩散模型

    提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

    Aug, 2023

  • 一种面对面的神经对话模型

    我们提出了一个新的神经会话模型，其不仅读取和生成文本信息，还能够识别和生成面部表情，以及基于对话中的情绪适应其响应。该模型采用 RNN 编码器 - 解码器架构，通过观察电影进行训练，并通过自动度量和人类研究展示了其生成更自然对话的能力。

    Dec, 2018

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023