Sep, 2023

对话行为感知 Transformer 用于对话策略学习

PDF
TL;DR利用预训练语言模型的纯文本知识，加速强化学习代理的学习速度，并通过探索对话行为空间最大化长期累积奖励，提出了一种对话行为感知的变压器编码器（DaTrans）。该模型通过在模拟器和人类评估中的验证展示了其有效性和高效性。
dialog policy learningreinforcement learningdialog action-aware transformer encodermasked last action taskknowledge distillation
发现论文，激发创造
  • 行动前先思考：将语言推理与行动交错的统一策略

    提出了一种将 Transformer 模型与强化学习相结合，并在 BabyAI 任务上表现出色的新方法，其中模型输出既包含动作，也包含文本描述。

    Apr, 2023

  • 决策变压器：通过序列建模的强化学习

    本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

    Jun, 2021

  • Action Q-Transformer：使用动作查询的编码器 - 解码器模型进行深度强化学习的视觉解释

    本文提出了一种基于 Q-learning 的深度强化学习方法 ——Action Q-Transformer (AQT)，它引入了一个 Transformer 编码器 - 解码器结构来实现对代理决策的高度可解释性。我们利用 AQT 在 Atari 游戏任务中实现了代理的决策详细分析，并通过实验结果证明了该方法在某些游戏中可以实现比基线更高的性能。

    Jun, 2023

  • JoTR: 对话策略学习的联合 Transformer 和强化学习框架

    使用 JoTR 框架，利用文本到文本的 Transformer 模型生成灵活的对话动作，以解决传统方法中预定义动作候选的不足，从而提高对极限情况的处理能力，并通过强化学习和奖励调整机制有效地优化对话策略。在广泛的评估中，JoTR 在两个基准对话建模任务上展现出卓越的性能。

    Sep, 2023

  • 学习澄清：基于行动对比自我训练的多轮对话

    Action-Based Contrastive Self-Training (ACT) is a quasi-online preference optimization algorithm that improves conversation modeling in large language models (LLMs), particularly in the area of disambiguation and dialogue policy learning.

    May, 2024

  • 动态对话策略的连续强化学习

    为了解决任务导向的对话系统在学习新知识时需要不断适应的问题，我们提出了一种动态对话策略变换器 (DDPT)，它是一种能够无缝集成新知识、处理大状态空间并在暴露到未见过的领域时获得重要的零 - shot 性能的新的动态架构。我们提供一个不间断的学习算法、基线架构和度量标准来评估不间断学习模型。

    Apr, 2022

  • OadTR: 使用 Transformer 进行在线动作检测

    本文提出了一个新的 Transformers 编码器 - 解码器框架 OadTR 用于在线行动检测，该模型能够同时编码历史信息并预测未来内容，性能优于目前基于 RNN 的方法。

    Jun, 2021

  • 后见之链中崛起的代理变形机

    本文利用 “chain of hindsight” 方法在强化学习中训练了一个能够直接综合多个轨迹信息的 transformer 模型，并通过在 D4RL 和 ExoRL 基准测试中的表现证明了它的竞争力和可伸缩性。

    May, 2023

  • 对话转换器

    本文提出了一种基于 transformer 架构的对话策略，其自我注意机制沿着对话的序列进行，可以自然地选择性地忽略或关注对话历史。我们比较了 Transformer Embedding Dialogue（TED）策略与 LSTM 和 REDP 的性能差异，后者是专门设计用来克服 RNN 的局限性。

    Oct, 2019

  • 对话行动标记：使用多轮规划器引导目标导向对话中的语言模型

    我们提出了一种称为 Dialogue Action Tokens (DAT) 的方法，它使语言模型代理能够计划目标导向的对话，并且通过将对话转化为游戏的形式，使得强化学习等现有方法可以应用。当在社交模拟平台 Sotopia 上进行评估时，DAT 指导的 LLaMA 模型超过了 GPT-4 的性能，并且我们还将 DAT 应用于一种新型的多轮红队攻击设置中，揭示了一个潜在的新攻击面。

    Jun, 2024