CVPRApr, 2021

从视频学习非语言交流中的三元信念动力学

PDF
TL;DR本文通过结合不同的非语言交流提示，设计了一种能够描绘、学习和推断代理人心理状态的方法，并以此为基础开发了一种新型的能够跟踪和预测所有心理状态的能级能量模型，从而提供了一种基于非语言交流和信念动态的社交事件描述和视频总结方法。
social cognitionnonverbal communication cuesmental representationbelief dynamicsvideo summary
发现论文，激发创造
  • MindDial：基于心理理论建模的信念动态追踪技术，用于实境神经对话生成

    MindDial 是一种新的对话框架，可以生成特定语境下的自由形式响应来协商共同点。

    Jun, 2023

  • 社会行为生成的二人互动建模

    人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

    Mar, 2024

  • 贝叶斯心智理论中关于信念的语言基础

    通过对 Bayesian 心智模型的建模，该论文解释了人类相信陈述的语义，解释了人类对他人目标和信念的归属，并证明了心智理论对信念语义的重要性。

    Feb, 2024

  • 面向目标驱动的二元交流的情感面孔

    本研究介绍了一种视频框架，用于建模双人对话中口头和非口头交流之间的关联，提出了一种通过大型语言模型和视觉 - 语言模型构成的对话建模方法，并提出了一种新的无剧本对话视频数据集，实验和可视化结果表明，该方法能够生成显著更具社交适切性的监听者。

    Jan, 2023

  • 以心理理论为基础的多智能体强化学习的内在动机理论

    该论文介绍了利用深度网络来模拟人类心智状态，并在多智能体环境中进行信念预测和强化学习的初步实验结果。

    Jul, 2023

  • 朝向社会人工智能：在三元互动中预测非语言社交信号

    本研究提出一种社交信号预测问题及数据集，通过数据驱动的方法对互动个体之间交换的社交信号动态进行建模，为机器赋予与人类交流的能力，称为社交人工智能，通过一个三方社交互动场景的 3D 运动捕捉数据集，提出预测互动个体的语言状态、社交形态和身体姿势的基线方法，并提出一个定义明确的社交预测框架。

    Jun, 2019

  • 通过自我观察学习心智理论的机器人：利用意图 - 信仰的协同作用

    本文介绍了一种学习他人低层次和高层次心智状态的神经网络模型，并表明把高层次认知附加到低层次状态模型中可以使模型更快、更准确地进行意图预测，并提高学习表现。

    Oct, 2022

  • 学习聆听：建模非确定性二元面部动作

    该论文提出了一个交互式对话的建模框架，通过结合说话人的动作、对话音频和可能的相应听众动作输出来捕捉非口头双人互动的多模态和非确定性特征，还使用了运动 - 音频交叉注意力变换将说话人的运动和语音音频结合起来，并通过运动编码 VQ-VAE 学习了对真实听众运动的离散潜在表示。

    Apr, 2022

  • 社交互动中的身体行为：新的注释和最新评估

    本文介绍了 BBSI 的方法和结果，BBSI 是对连续社交互动中复杂身体行为的第一个注释集，其包含了 15 个不同的身体语言类别，并采用四个空间 - 时间特征变体作为 PDAN 的输入来自动检测这些行为，结果表明这是一个困难的任务，但有很大改进的空间。

    Jul, 2022

  • Body2Hands：从对话手势身体动态中学习推断三维手部模型

    本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法，其中利用了身体运动和手势之间的相关性，采用网络进行 3D 手部姿态估计训练并得到了优良的效果。

    Jul, 2020