研究发现，人机面对面互动过程中的社交信号、语言特征、情感表达等特征与用户对机器人的印象有关；其中，用户面部表情的快乐程度与机器人的好感度强相关，而对话特征与机器人的智能感知有关。这些特征有望成为在线补偿信号，用于基于增强学习的自适应人机对话系统中。

Jun, 2017

通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。

Nov, 2016

采用深度学习生成模型来生成机器人情感表情，通过几个手动设计的机器人身体表达生成一个新的符合上下文感知的表达。评估结果表明，生成的表情与手动设计的表情没有显著差异，且能达到不同目标情绪的效果。

May, 2022

本文提出了使用多模式深度 Q 网络（MDQN）的方法，通过试错法让机器人从与人类的互动中收集数据并从高维感知信息中学习人类的交互行为，以使机器人能够具备与人类一样的交互技能。在与人类的相互作用 14 天后，本文表明机器人成功地学会了基本的人机交互技能。

Feb, 2017

该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

Dec, 2022

研究通过探索机器人学习与人类互动，并研究多元输入模式对学习结果的影响，引入了 “元模态” 这一概念，包含了传统偏好和标量反馈机制之外的其他反馈形式，不同于以往仅关注于单个元模态的研究，本研究评估了它们在学习结果上的综合效应，研究发现，虽然单个模态的感知不同，但它们的组合显著改善了学习行为和可用性，这项研究不仅为人机互动任务学习的优化提供了有价值的见解，而且为增强用户在这类环境中的互动自由度和支持能力开辟了新途径。

May, 2024

本研究针对评估社交情境对话机器人的挑战性任务，提出了一种依赖于多模态用户行为的新型客观评估方法，主要关注评估机器人的人类化程度作为主要评估指标，通过观察用户行为间接评估机器人的人类化程度，提高了客观性和可重复性，并且通过创建一个带有人类化程度得分的标注数据集，运用在一个专注听力对话语料中找到的用户行为进行了相关性分析，证明了我们提出的基于行为的评估方法的可行性。

Aug, 2023

使用个性化的机器学习框架，利用深度学习的先进技术对自闭症儿童的情感状态和参与度进行自动感知，进而在机器人辅助自闭症治疗中提供更高效的监测和总结治疗进展的潜力。

Feb, 2018

本文提出了一种多任务框架，该框架联合识别对话的情感并根据所识别的情感生成响应，我们利用基于 BERT 的网络来创建一种共情系统，并使用混合目标函数来训练端到端网络，包括分类和生成损失函数，实验结果表明，我们的多任务框架优于现有的最先进模型。

May, 2022

本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

Dec, 2022