Mar, 2017

使用深度强化学习学习协作视觉对话代理

PDF
TL;DR本文介绍了一种基于深度强化学习的视觉问答和对话代理训练方法，通过协作游戏中的自然语言对话，演示了 'visual' 对话代理具有自主创建基于视觉属性的语言和沟通的能力，并发现强化学习有助于代理人的团队合作，促进信息交流和提高效率。
visual question answeringdialog agentsdeep reinforcement learninggrounded languageteam collaboration
发现论文，激发创造
  • 通过回答不同的问题，改进生成式视觉对话

    通过辅助目标激励 Qbot 多样性提问以减少重复，从而达到更好的视觉对话效果，在保证与前期研究同等图像相关性的同时，大大提升了对话的多样性、一致性、流畅度和细节。

    Sep, 2019

  • 通过对话策略和语言生成之间的替代优化构建面向任务的视觉对话系统

    本研究提出一种新的框架，可有效学习任务导向视觉对话系统的最优对话策略，并在 GuessWhich 任务中实现了最新的任务完成和对话质量表现。

    Sep, 2019

  • 学习如何学习：一种用于增量学习视觉定位词义的自适应对话代理

    本研究基于强化学习模型，针对生动图像作为学习基础的人机交互场景，训练了一种多模态对话代理，并基于 BURCHAK 语料库对代理进行了交互式学习和评估，在提高分类器准确性的同时，尽量减少学习过程中的人工操作。结果表明，该代理学习策略的性能超过基于手工定制的策略，并能够与人类模拟器有效协同学习。

    Sep, 2017

  • 面向任务的多模态层次强化学习策略：视觉对话

    通过多模态层次强化学习框架和状态适应技术，实现了语音和图像的目标驱动对话。在图像猜谜游戏中进行了实验，取得了良好的效果。

    May, 2018

  • 对话生成的深度强化学习

    本研究基于强化学习，建立一个可生成更多交互式回复、更长且不重复的对话、更容易回答问题的聊天机器人的神经对话模型。

    Jun, 2016

  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • 使用强化学习进行开放式对话的动态规划

    本研究利用强化学习技术结合最先进的自然语言理解模型创造了一个实时的对话系统，并在使用谷歌智能助手的实验中，使用众包数据进行训练，显著超越了强化模型，证明其对于自然人对话有较高的开放性和可行性。

    Jul, 2022

  • 视觉对话

    本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

    Nov, 2016

  • 透过对抗学习实现有理据的视觉对话生成

    本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

    Nov, 2017

  • 基于深度强化学习的任务导向对话模型端到端优化

    介绍了一种基于神经网络的任务导向对话系统，可以使用深度强化学习进行端到端优化，可跟踪对话状态，与知识库交互，并将查询结果整合到代理人的响应中，以成功完成任务导向对话。

    Nov, 2017