Apr, 2024

标志性手势的语义学

PDF
TL;DR课题论述了指示性手势的意义是基于其信息评估的条件；只有通过信息评估，指示性手势才能达到准语言水平，与口头内容进行交互；交互可以是虚无的，或通过通常由词汇驱动的推理加以规范；信息评估通过感知分类来解释，从手势的视觉图标模型中推导出；我们进一步论证了视觉传达的实例的感知分类需要与 Frege / Montague 框架中的意义不同的概念；因此，我们提供了一个能够指导工作中的语义学家进行手势解释的启发式方法；总结而言，本研究介绍了一种图标手势语义，涵盖了从动态语义框架中运动手势的表征到模型论评估到推理解释的全部范围。
iconic gestureinformational evaluationvisual iconic modelperceptual classificationgesture interpretation
发现论文，激发创造
  • EdGCon：基于词汇属性的基本形象评分自动分配器，以协助生成技术手势

    使用 ASL-LEX 词库，结合三项 ASL 子词汇属性的自动化识别方法，通过分析技术手势的符号性和它们与其他手势的关联性，研究了使用相似表达方式的手势与 Deaf and Hard of Hearing Group 之间的认知障碍。

    Jun, 2023

  • 将表征性手势融入自动生成的具身化解释并其对理解和交互质量的影响

    通过开发一个集成了拍手手势和象征性手势的虚拟解释器来研究手势对解释的影响，发现手势无法单独或与拍手手势结合使用超越基准或仅使用拍手手势的条件在理解方面的表现，但是与先前的研究相比，具身化代理显著增强了理解。

    Jun, 2024

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024

  • meta4: 基于自监督文本和语音表示的语义对齐隐喻手势生成

    META4 是一种深度学习方法，通过从输入文本中计算图像架构来捕获其潜在的语义和隐喻意义，并生成由语音和计算图像架构驱动的隐喻手势，从而解决了先前行为生成模型在生成隐喻手势时未考虑到重要的语义信息的局限性。

    Nov, 2023

  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020

  • 具身对话代理人姿态生成评估实践综述

    该研究对具有人类类似上半身的 ECA 在社交人 - 机互动中使用共同言语手势的生成方法进行了系统综述，并提出了评估工具和检查清单，以帮助在不同研究中系统地测试生成模型。

    Jan, 2021

  • 符号基础问题

    本论文探讨如何在符号系统中将符号的语义内化，通过基于 “图像” 和 “类别” 的底层非符号表示，实现符号表示的 “接地”，并提出了一种候选方案。

    Jun, 1999

  • 使用语言和手势的具身化参考理解

    本文介绍了 YouRefIt，这是一个以多模态引用为基础的数据集，集合了 432 个室内场景中 4195 个唯一的引用片段，并介绍了两种基准图像和视频的多模态引用理解方法。实验提供了关于如何理解参考表达和手势对物理情境引用的重要证据。

    Sep, 2021

  • 印象：理解视觉符号学和美学冲击

    通过独特的图像语义学数据集 Impressions，研究图像的符号学以及特定的视觉特征和设计选择如何引发特定的情感、思考和信念，证明了对图像印象的影响力超出了形式美学的描述，而是涉及其作为传达行为的成功，其中风格为意义形成做出的贡献与主题内容一样重要。通过 Fine-tuning 和少样本适应，对现有的多模态图像字幕和条件生成模型进行训练，可以模拟出对图像的合理人类反应，从而有效地模拟图像的印象和美学评价。

    Oct, 2023

  • 基于微动作理解的无身份人工情绪智能

    本研究关注一类特殊的人体语言，即微小手势（MG），针对微小手势的动作识别和情感理解进行了研究，提出了多种增强策略和时空平衡融合方法，并通过实验证明了这些方法在微小手势识别和情感理解中的有效性。

    May, 2024