应用大型语言模型进行人机交互中人类意图推断的 hierarchical 方法评估

Apr, 2024

自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。

Sep, 2023

论文提出了 Motron 模型，一种用于人机交互中的多模态运动预测的概率图结构模型，并在现实场景中的多个数据集中验证了其在运动预测方面的优越性。

Mar, 2022

通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。

Nov, 2016

该论文介绍了一种基于条件变分自编码器（CVAEs）的方法，用于在多模式（即多个高度不同的未来可能）的情况下制定人机交互策略，特别关注于交通道路中的车辆交织问题，并通过人 - 机器交互模拟表明了该方法的有效性。

Oct, 2017

通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

Apr, 2022

研究使用多个预测模型来预测需要协助的用户，并借助滑动窗口和随机森林分类算法的决策融合来提高其准确性，以维护用户的自主权和辅助机器人在更广泛任务设置中的应用潜力。

Dec, 2020

本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

Oct, 2021

为了促进人工智能系统推断人类意图的能力的发展和评估，我们推出了一个基于物体 - 语境关系的大规模多模态视频数据集，用于意图预测，旨在实现在协作环境中具有有效和高效的人机交互。

Mar, 2023