EMNLPOct, 2022

DOROTHIE: 用于交互式自动驾驶代理处理意外情况的口语对话系统

PDF
TL;DR介绍了一种基于 DOROTHIE 平台的 Situated Dialogue Navigation (SDN) 导航基准，考察自主驾驶代理通过对话进行动态环境下导航的能力，结果表明，端到端模型在这种高度动态的语言引导导航任务中是非常困难的。
发现论文，激发创造
  • RobotSlang 基准：对话驱动的机器人定位和导航

    该论文介绍了一种基于自然语言对话的机器人定位与导航任务基准测评 RobotSlang，并提出了从对话历史记录中学习的自适应定位与导航。研究结果表明，通过该方法可以训练出可控制实际机器人平台的智能体。

    Oct, 2020

  • 使用强化学习进行开放式对话的动态规划

    本研究利用强化学习技术结合最先进的自然语言理解模型创造了一个实时的对话系统，并在使用谷歌智能助手的实验中，使用众包数据进行训练，显著超越了强化模型，证明其对于自然人对话有较高的开放性和可行性。

    Jul, 2022

  • 视觉和对话导航

    提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

    Jul, 2019

  • 自然语言指令的条件驱动

    该研究介绍了一种基于语言的驾驶智能体，它使用递归层和门控注意力实现分层策略，通过条件模仿学习培训策略，并能够成功地解释语言指令并安全地跟随它们，甚至在以前未见过的环境中进行泛化。

    Oct, 2019

  • 通过强化学习进行协作多智能体对话模型训练

    本文利用 DSTC2 数据为种子数据，建立了功能包括：natural language understanding 和 natural language generation 的 conversational agent，并让它们通过生成自然语言进行在线交互，进而将这个交互行为建模成一个随机协作游戏，并在实验中表现出优于 deep learning 的结果。

    Jul, 2019

  • 基于网络的端到端可训练任务导向式对话系统

    本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

    Apr, 2016

  • 自动驾驶汽车的命令下达：如何处理不确定情况？

    该论文提出了一种模型，用于检测当给定命令时不确定的情况和引起它们的视觉对象，并为乘客生成澄清问题，从而增强乘客对自动驾驶车辆的信心。

    Jun, 2021

  • Talk2Car: 控制自动驾驶汽车

    本文提出了一个包含自然语言命令的自主驾驶汽车对象引用数据集，并与相关数据集进行了比较以及使用强大的最新模型进行了表现分析，该对象引用任务对于模型仍需要自然语言处理、计算机视觉以及这些领域的交叉研究进行进一步的研究。

    Sep, 2019

  • 用自然语言驱动的仿真基准和副驾驶助手，在虚拟路景中高效生成物体交互

    我们提倡自然语言驱动（NLD）模拟来高效地生成虚拟道路场景中多个物体之间的交互，以教学和测试自主驾驶系统。NLD 模拟使用简洁的自然语言描述来控制物体之间的交互，并显著减少了创建大量交互数据的人力成本。为了促进 NLD 模拟的研究，我们收集了包含 12 万个自然语言描述的语言到交互（L2I）基准数据集，描述了 6 种常见道路拓扑中物体之间的交互。每个描述都与编程代码相关联，图形渲染器可以使用该代码在虚拟场景中进行可视化重现。作为一种方法学贡献，我们设计了 SimCopilot 来将交互描述转化为可渲染的代码。我们使用 L2I 数据集评估 SimCopilot 在控制物体运动、生成复杂交互和在不同道路拓扑之间推广交互方面的能力。L2I 数据集和评估结果激发了相关自然语言驱动模拟的研究。

    Dec, 2023

  • 坐标学习中，智能体该如何提问？：一份带注解的对话语料库

    通过收集 Human-Robot Dialogue Learning (HuRDL) Corpus 数据集，提出利用人类角色扮演机器人在在线交互虚拟环境中进行协作任务，描述了对话数据和对应注释方案，为智能代理的提高提出了帮助学习的问题。

    Jun, 2021