Aug, 2023

通过多阶段序列标注实现共喃手势检测

PDF
TL;DR我们提出了一种新的框架，将手势检测任务看作多阶段序列标注问题，通过处理时间窗口内的骨骼运动序列，使用 Transformer 编码器学习上下文嵌入，并利用条件随机场进行序列标注。我们在大规模数据集上对我们的方法进行评估，结果表明，我们的方法在检测手势笔划方面明显优于强基准模型。此外，将 Transformer 编码器应用于从运动序列中学习上下文嵌入显著改善了手势单元检测。这些结果突显了我们框架捕捉共话手势阶段微观动态的能力，为更细致和准确的手势检测和分析铺平了道路。
gesturesface-to-face communicationgesture detectionsequence labelingtransformer encoders
发现论文，激发创造
  • 利用语音进行多模式通信中的手势检测

    通过使用 Transformer 编码器对语音和骨架序列进行交叉模态和早期融合技术，本研究在协同语音手势检测方面取得了显著的性能提升，并发现模型的手势预测置信度与与手势相关的语音频率特征存在相关性。

    Apr, 2024

  • 使用离散手势令牌学习来进行共同语音手势合成

    针对语音对应手势模型中存在的多种可能性及冲突问题，本研究提出一种使用离散潜在编码的两阶段模型引入不确定性来解决这一问题，并使用自回归变换器模型学习手势生成的先验分布，经用户考核后证明本方法生成的手势具有更加逼真和多样性。

    Mar, 2023

  • 生动演讲者：走向语义感知的共同语言手势生成

    通过 LivelySpeaker 框架，我们实现了语义感知的共同语言手势生成，并提供了几个控制手段。我们的方法将任务分解为两个阶段：基于脚本的手势生成和基于音频引导的节奏细化。具体地说，基于脚本的手势生成利用预先训练的 CLIP 文本嵌入作为指导，生成与脚本高度语义对齐的手势。然后，我们设计了一个简单而有效的基于扩散的手势生成骨干，仅依赖音频信号并学习以逼真的动作作为手势。我们利用这种强大的先验知识将脚本引导的手势与音频信号相结合，尤其是在零样本设置下。我们的两阶段生成框架还能实现多种应用，例如改变手势风格，通过文本提示编辑共同语言手势，以及通过引导扩散控制语义感知和节奏对齐。大量实验证明了所提出框架相对竞争方法的优点。此外，我们的核心基于扩散的生成模型在两个基准测试中也取得了最先进的性能。代码和模型将在未来发布以促进研究。

    Sep, 2023

  • 通过运动解耦扩散模型生成共说手势视频

    本文提出了一种新的运动解耦框架来生成音频驱动的共语手势视频，通过引入非线性 TPS 变换和基于变压器的扩散模型，学习手势和语音之间的时序相关性，并利用优化运动选择模块生成长期连贯和一致的手势视频，最后设计了一个细节修复网络来增强视觉感知，实验结果表明我们的框架在动作和视频评估方面明显优于现有方法。

    Apr, 2024

  • 学习用于多模式失语类型检测的共言手势

    我们提出了一种基于语音和相应的手势模式的多模态图神经网络，用于检测失语症类型，通过学习每种失语症类型中语音和手势模态之间的相关性，我们的模型能够生成对手势信息敏感的文本表示，实现了准确的失语症类型检测，实验证明了我们方法的优越性 (达到了 84.2% 的 F1 值)，我们还展示了手势特征优于声学特征，凸显了手势表达在检测失语症类型中的重要性。

    Oct, 2023

  • 一种基于多说话人条件混合的语音手势动画样式转移方法

    本文提出了一种名为 Mix-StAGE 的新模型，它以端到端的方式训练单个模型以服务于多个说话者，同时为每个说话者的手势学习独特的样式嵌入，该模型可以对对话风格和内容进行区分，并可轻松地更改相同输入语音的姿势样式；同时，我们还介绍了一个被设计用于研究手势生成和样式传递的新数据集 PATS，我们的 Mix-StAGE 模型明显优于以前的手势生成方法并为将手势风格传递到多个说话者提供了路径。

    Jul, 2020

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024

  • 机器人学习社交技能：人型机器人共语言手势生成的端到端学习

    本文提出了一种基于学习的共语手势生成模型，从 52 小时的 TED 演讲中学习，并成功地生成了各种手势，包括像征性、隐喻性、指示性和节奏性手势。该模型通过主观评估，被认为与人类行为类似，与语音内容相匹配。另外展示了与 NAO 机器人在实时工作中进行共语手势的场景。

    Oct, 2018

  • 节奏手势器：基于分层神经嵌入的节奏感知共同语音手势合成

    我们提出了一种新颖的共语手势合成方法，在节奏和语义上实现了令人信服的结果。我们的系统包含了一个强大的基于节奏的分割流程，以确保表达和手势之间的时间上的连贯性，以及一种机制，以有效地解开语音和运动的低层和高层神经嵌入，从而实现了节奏和语义感知的手势合成。与现有的客观指标、新提出的节奏指标和人类反馈相结合的评估表明，我们的方法在超过现有技术水平上表现出色。

    Oct, 2022

  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020