该研究发现 BLEU、ROUGE、METEOR 和 CIDEr 指标无法有效评估基于视觉与语言的导航生成器自动生成的导航指令，提出了一种不依赖参考指令的指令 - 轨迹相容性模型，并建议在有参考指令时使用 SPICE 进行评估。

Jan, 2021

我们研究了在模拟住宅环境中生成指导人类导航的问题。我们开发了一个模型，使用对图像 - 文本对进行预训练的模型，并通过对比损失进行微调，以检测生成的虚假指令。我们的最终模型优于几个基准模型，包括使用指令生成模型估计的词概率和基于 LSTM 和 Transformer 的监督模型。

Oct, 2023

该研究提出了一种导航指南模型，使机器人能够生成自然语言指令，帮助人们在事先未知的环境中进行导航，该模型使用人类演示数据通过反向强化学习训练决策策略，并通过神经序列到序列模型从自然语料库中生成自由形式的语句，实验测评表明，在与人类参考指令进行比较时，该方法获得了 72.18% 的 BLEU 分数，并且缩小了人类与机器人交互时的差距。

Oct, 2016

机器学习模型在高风险任务中辅助人类决策，通过提供可解释且任务特定的指导，而不是取代人类专家的决策能力。

Mar, 2024

通过分析以前未使用的人类错误数据集，展示了人类回答错误与问题类型和视觉对话中的问答轮次的相关性，并通过使用简单的 MLP 模型和视觉语言模型的实验，证明了这些因素对于模型准确性在指向人类错误任务中的有效性。

Sep, 2023

本文讨论了人类在指定任务中使用应用程序所面临的挑战，提出了任务引导系统的发展需要寻找信息检索和会话系统来帮助任务的执行者，并针对现有数据集开发了一个基于 Wizard-of-Oz 的数据收集工具，进行了初步实验。

Nov, 2022

本研究提出了一种使用内置语音模型的视觉 - 语言导航方法，该方法利用演讲者模型来合成新的指令进行数据增强，并实现了实用推理和全景动作空间，大大提高了基线指令跟随者的性能，在标准基准测试中成功率超过现有最佳方法的两倍。

Jun, 2018

利用深度学习模型，结合自然语言处理和机器人导航，使用关注模型以及环境的拓扑表示，将自由形式的自然语言指令翻译成行为机器人高级计划，能够显著优化传统方法的表现，并且探讨了环境地图作为知识库来促进自由形式导航指令翻译的可能性。

Sep, 2018

本文提出了一种交互式的任务规范问题形式，通过自然语言指令和一系列语言修正来引导自主代理获得新技能，实现快速获取新技能，显著优于直接非交互式指令跟随。

Nov, 2018

探索人类沟通策略以设计更加能理解和与用户意图对齐的人工智能系统，以实现人类中心的人工智能系统。

May, 2024