Jun, 2024

将表征性手势融入自动生成的具身化解释并其对理解和交互质量的影响

PDF
TL;DR通过开发一个集成了拍手手势和象征性手势的虚拟解释器来研究手势对解释的影响，发现手势无法单独或与拍手手势结合使用超越基准或仅使用拍手手势的条件在理解方面的表现，但是与先前的研究相比，具身化代理显著增强了理解。
gesturesexplanationsvirtual agentsinteraction qualityunderstanding
发现论文，激发创造
  • 具身对话代理人姿态生成评估实践综述

    该研究对具有人类类似上半身的 ECA 在社交人 - 机互动中使用共同言语手势的生成方法进行了系统综述，并提出了评估工具和检查清单，以帮助在不同研究中系统地测试生成模型。

    Jan, 2021

  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • 使用语言和手势的具身化参考理解

    本文介绍了 YouRefIt，这是一个以多模态引用为基础的数据集，集合了 432 个室内场景中 4195 个唯一的引用片段，并介绍了两种基准图像和视频的多模态引用理解方法。实验提供了关于如何理解参考表达和手势对物理情境引用的重要证据。

    Sep, 2021

  • 音频至照片级虚拟人物：对话中的人物合成

    我们提出了一个框架，用于生成根据对话动态姿势的真实感十足的全身虚拟人物。通过给定的语音音频，我们输出一个人的多个姿势动作可能性，包括面部、身体和手部动作。我们的方法的关键在于将向量量化的样本多样性与扩散所获得的高频细节相结合，以生成更动态、富有表现力的运动。我们使用高度逼真的虚拟人物来可视化生成的动作，能够表达姿势中的重要细微之处（如冷笑和假笑）。为了促进这项研究，我们介绍了一种首次出现的多视角对话数据集，可以进行逼真的重建。实验证明，我们的模型生成了适当且多样化的姿势动作，优于仅使用扩散或仅使用向量量化的方法。此外，我们的感知评估突出了逼真（与网格）对准确评估对话姿势中的细微运动细节的重要性。代码和数据集可在线获取。

    Jan, 2024

  • Text2Gestures：基于 Transformer 的网络，用于为虚拟代理人生成表情身体动作

    介绍了一种使用基于变压器的学习方法来生成虚拟代理与自然语言输入对应的带有情感表达的全身手势的方法，通过使用生物力学的特征和考虑目标虚拟代理的性别和利手性，该方法能以交互性的速度在图形处理器上产生实时且富有表现力的手势，经过网页用户研究，其生成的手势在趋向性和情感上与预期高度吻合。

    Jan, 2021

  • 快慢行进的变化：语音导向手势生成中的表征和后处理分析

    本文提出了一种新颖的基于语音驱动的手势生成框架，可用于虚拟代理以增强人机交互，并通过深度学习和表示学习，对不同输入输出的网络提供了客观和主观的评估以及消除运动抖动的后处理措施。

    Jul, 2020

  • 基于微动作理解的无身份人工情绪智能

    本研究关注一类特殊的人体语言，即微小手势（MG），针对微小手势的动作识别和情感理解进行了研究，提出了多种增强策略和时空平衡融合方法，并通过实验证明了这些方法在微小手势识别和情感理解中的有效性。

    May, 2024

  • 学习个体交谈手势风格

    本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

    Jun, 2019

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024