使用面部表情和头部动作进行非面对面可视交流是计算机视觉领域的一个研究方向，旨在开发能够识别和分析非言语暗示和行为的算法。我们提出了一种仅基于非言语视觉沟通的人机交互方式，利用面部表情和头部动作模仿并超越人类用户，以低成本实时引起用户的注意。我们的目标是实时跟踪和分析面部表情和其他非言语暗示，并利用这些信息建立能够预测和理解人类行为的模型。我们提供了基于检索、统计和深度学习技术的三种不同的补充方法，并提供人工和自动评估并讨论每个方向的优点和缺点。

Feb, 2024

通过从演示中学习，我们研究了通过获取非语言交流技能，特别是手语理解和表达方面的潜在应用，我们专注于对人工智能代理进行模仿学习，使用计算机视觉和深度学习从视频中提取信息，并使用强化学习使代理能够复制观察到的动作，这种方法消除了需要额外硬件的需求，我们成功地教授了涉及上半身（即臂和手）的 5 种不同的手势，为人工智能代理的高级沟通技能铺平了道路。

Jun, 2024

本文讨论了构建具有社交交互能力的具体化自主智能体是人工智能面临的主要挑战之一，并指出了目前在具体化语言使用方面的研究方向存在的局限性。作者认为，实现人类水平的人工智能需要更广泛的关键社交技能。最后，通过实验研究了一种近期最先进的深度强化学习方法的局限性。

Apr, 2021

通过引入 Social-Transmotion，我们介绍了一种利用 transformer 处理多样化和大量视觉线索、捕捉人类行为多模态特性的通用模型，在人类轨迹预测任务中翻译自然语言处理中 prompt 的思想并扩充了轨迹数据，从而实现了增强的人类轨迹预测效果。

Dec, 2023

本文通过结合不同的非语言交流提示，设计了一种能够描绘、学习和推断代理人心理状态的方法，并以此为基础开发了一种新型的能够跟踪和预测所有心理状态的能级能量模型，从而提供了一种基于非语言交流和信念动态的社交事件描述和视频总结方法。

Apr, 2021

通过引入三个新的挑战性任务，研究论文在社交推理游戏环境中提供了大量数据注释，进一步提出了一种新颖的基于语言 - 视觉表示的多模态基准线方法，实验表明其在建模社交互动方面的有效性。

Mar, 2024

通过多智能体强化学习、行为克隆和生成对抗性模仿学习，以及认知级别层次框架，我们在团队运动的背景下，引入了一个新的基准、一种新的公式和一个受认知启发的框架，以预测战略人类社交互动。我们通过使用 Wusi，一个 3D 多人动作数据集来验证我们的方法和数据集的有效性。

Nov, 2023

该论文提出了一个交互式对话的建模框架，通过结合说话人的动作、对话音频和可能的相应听众动作输出来捕捉非口头双人互动的多模态和非确定性特征，还使用了运动 - 音频交叉注意力变换将说话人的运动和语音音频结合起来，并通过运动编码 VQ-VAE 学习了对真实听众运动的离散潜在表示。

Apr, 2022

人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

Mar, 2024

我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于 LLM 的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如 'joy' 和 'lively' 的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。

Aug, 2023