本文综述了在视频中自动识别人际互动的主要挑战，研究现状，以及基于深度学习和卷积神经网络方面的最新、有前途的工作，最终概述了克服目前技术限制以分析和理解社会人类行为的方向。

Jul, 2018

本文提出将非语言暗示转化为人机交互设计的解决方案，通过遵循沟通学的五个人类感官系统（视觉，听觉，触觉，嗅觉，味觉）的非语言暗示准则来实现。并论述了将这些准则应用到人机交互设计模式的设计中，并给出了研究方向，以推进人机交互领域的非语言沟通和改进人机沟通的方向。

Apr, 2023

使用面部表情和头部动作进行非面对面可视交流是计算机视觉领域的一个研究方向，旨在开发能够识别和分析非言语暗示和行为的算法。我们提出了一种仅基于非言语视觉沟通的人机交互方式，利用面部表情和头部动作模仿并超越人类用户，以低成本实时引起用户的注意。我们的目标是实时跟踪和分析面部表情和其他非言语暗示，并利用这些信息建立能够预测和理解人类行为的模型。我们提供了基于检索、统计和深度学习技术的三种不同的补充方法，并提供人工和自动评估并讨论每个方向的优点和缺点。

Feb, 2024

本文探讨了非语言线索（包括共语手势和面部表情）在人类交流中的关键但常常被忽视的作用，以及它们对自然语言处理（NLP）的影响。我们提出了发展通用自动手势划分和转录模型以将这些非语言线索转录为文本形式的方法，来加强口语理解的盲点并提升 NLP 模型的适用性。通过激励性例子，我们演示了仅仅依靠基于文本的模型的局限性。我们提出了一种计算高效且灵活的方法，可以与现有的 NLP 流程无缝集成，用于引入非语言线索。最后，我们呼吁研究界为通用转录方法的发展做出贡献，并验证其在捕捉现实中多模态交互的复杂性方面的效果。

Sep, 2023

我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于 LLM 的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如 'joy' 和 'lively' 的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。

Aug, 2023

本文通过分析面部表情、手部动作、视线、语调等非语言信号，研究了自然情境下小组内低情感投射的自动预测，其中兼顾参与者个性因素者的预测效果更佳。

Jan, 2018

本文提出一种新的面部表情检测算法以及区间选择方法，用于识别参与者在语言以外的情境中在面部表情方面的互相影响和适应过程。通过对一系列相关区间的面部表情时间序列应用 Granger 因果，我们成功地揭示了在不同的实验条件下双方交流的因果模式。

Oct, 2018

研究了课堂人机交互情景以及在机器人认知架构中运用人类启发的社交凝视模型以促进更无缝的社交互动，详述了研究中探索的人机交互情景和社交凝视模型，并强调在课堂人机交互情景中利用这样的关注模型的优点，以及即将进行的研究目标。

Dec, 2023

本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。

Nov, 2022

本研究致力于研究人类如何利用共享的运动副本和动作模型等非语言视觉线索阅读他人的行为意图，研究人员使用实验数据和计算模型来验证其在人机交互领域中的应用，结果表明该模型对于解读人类行为意图和实现可读性交互是可行的。

Feb, 2018