Sep, 2023

处理口语处理中的盲点

PDF
TL;DR本文探讨了非语言线索（包括共语手势和面部表情）在人类交流中的关键但常常被忽视的作用，以及它们对自然语言处理（NLP）的影响。我们提出了发展通用自动手势划分和转录模型以将这些非语言线索转录为文本形式的方法，来加强口语理解的盲点并提升 NLP 模型的适用性。通过激励性例子，我们演示了仅仅依靠基于文本的模型的局限性。我们提出了一种计算高效且灵活的方法，可以与现有的 NLP 流程无缝集成，用于引入非语言线索。最后，我们呼吁研究界为通用转录方法的发展做出贡献，并验证其在捕捉现实中多模态交互的复杂性方面的效果。
发现论文，激发创造
  • 借助认知语言处理信号推动自然语言处理

    使用认知处理数据（如注视模式和脑电图特征）可以显著提高文本处理任务的性能，但在不同任务和数据源上具有局限性。

    Apr, 2019

  • 利用语音进行多模式通信中的手势检测

    通过使用 Transformer 编码器对语音和骨架序列进行交叉模态和早期融合技术，本研究在协同语音手势检测方面取得了显著的性能提升，并发现模型的手势预测置信度与与手势相关的语音频率特征存在相关性。

    Apr, 2024

  • 自然语言处理中包含手语

    本篇论文呼吁自然语言处理 (NLP) 社群将手语作为高社会和科学影响力的研究领域之一，评估了手语的语言学特征，并探讨了如何扩展 NLP 到手语，并建议采用有效的标记方法、开发基于语言学的模型、收集真实世界的手语数据、将当地的手语社区作为研究方向的积极和领导性声音。

    May, 2021

  • 学习个体交谈手势风格

    本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

    Jun, 2019

  • 增强人工智能与人类互动的语言模型手势理解探究

    该研究论文探讨了大型语言模型（LLMs）与非语言交流（特别关注手势）的相互作用，并计划通过实验测试 LLMs 对手势的理解能力和上下文解释。

    Jan, 2024

  • 利用大型語言模型開發具有共感非語言提示的社交機器人

    我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于 LLM 的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如 'joy' 和 'lively' 的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。

    Aug, 2023

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 自然语言辅助手语识别

    该论文提出了一种自然语言辅助手语识别 (NLA-SLR) 框架，利用手语词汇中的语义信息来降低手语识别中存在的视觉相似性 (VISigns) 问题。该论文设计了语言辅助标签平滑和交互式混合等技术来提高识别性能，并引入了视频关键点网络作为新型的骨干网络来获得更好的结果。实验结果表明，该方法在三个广泛采用的基准测试数据集上均达到了最先进的性能。

    Mar, 2023

  • 利用非语言线索分析面对面同处的人际社交互动：综述

    本文系统回顾了自 2010 年以来，针对面对面共同交互的人际关系中显示的非语言线索进行自动分析的最新研究成果，包括建模社会特征、识别社会角色和社会关系，并分析了非语言线索分析的数据、传感方法和计算方法等三个主要元素。

    Jul, 2022

  • 通过人类注视引导的神经注意力提高自然语言处理任务

    我们提出了一种新型混合文本显著性模型 (TSM)，首次将阅读的认知模型和显式的人类注视监督相结合，将 TSM 的预测与人类注视的真实数据高度相关，并提出了一种新的联合建模方法，将 TSM 的预测集成到网络的注意层中，从而实现了人类注视引导的神经注意力与 NLP 任务的结合，其在 QUora 问题对语料库的释义生成任务中优于当前技术水平的 PERFOMANCE BY MORE THAN 10% BLEU-4，并在 Google 句子压缩语料库中实现了最先进的性能，从而介绍了一种实用的方法，将数据驱动模型和认知模型之间桥接起来，并展示了将人眼引导的神经关注集成到 NLP 任务中的新方法。

    Oct, 2020