EMNLPFeb, 2023

多轮开放域对话系统中的历史感知层次变压器

PDF
TL;DR本文提出了历史感知的分层 Transformer - 多轮开放域对话系统，能够利用历史交互信息与时下言语背景生成基于上下文且相关性强的对话回应，并在大规模多轮对话数据集上取得了优异的表现结果。
multi-session conversationhistory-aware hierarchical transformeropen-domain dialogueattention-based mechanismsresponse generation
发现论文，激发创造
  • HMT：用于长文本语言处理的分层记忆变形器

    通过模仿人脑记忆层次结构，我们提出了分层记忆 Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。

    May, 2024

  • 利用层次化聚合树增强长期记忆的检索增强生成

    大型语言模型的上下文能力有限，通过使用分层聚合树内存结构可以在长对话中进行推理，提高对话的连贯性和摘要质量，同时避免了参数呈指数级增长。

    Jun, 2024

  • 用于对话建模的状态性记忆增强变压器

    本研究提出一种新的记忆增强型 Transformer 模型，该模型可在不影响对话历史信息的情况下适应长序列处理，并且在相对于其他预训练 Transformer 模型存在着更高的效率和性能。

    Sep, 2022

  • 基于 Transformer 的多方对话分层上下文学习与跨度问答

    本研究介绍了一种新颖的 transformer 方法，利用三种语言模型任务预训练 Transformer，并应用多任务学习进行精细调整，以实现基于跨度的问答，该方法在挑战性的 FriendsQA 数据集上表现得非常好。

    Apr, 2020

  • 面向任务的分层 Transformer 对话系统

    本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

    Oct, 2020

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021

  • 让历史有意义：面向视觉对话的历史优势序列训练

    本文提出一种新的训练方式 History Advantage Sequence Training (HAST)，通过引入 Actor-critic 策略梯度思想和历史上错误策略来更好地生成对话回复。此外，通过提出一种新的注意力网络 History-Aware Co-Attention Network (HACAN)，该方法在多轮回合的图像对话中表现出了显著的性能提升。

    Feb, 2019

  • 历史感知的对话密集检索

    通过上下文消噪的查询重构和根据历史转折的实际影响自动挖掘监督信号，提出了一种历史感知对话稠密检索系统，实验证明了 HAConvDR 在长对话中具有改进的历史建模能力。

    Jan, 2024

  • 多领域任务完成的层次化上下文增强对话系统

    本文介绍了我们提交的解决方案 Hierarchical Context Enhanced Dialogue System (HCEDS) ，该方案使用 BERT 捕获字词级别信息，并使用注意机制捕获句子级别信息，以全面探索层级上下文对于理解复杂对话的潜力。在任务评估中，我们的系统在自动评估中排名第一，在人工评估中排名第二。

    Mar, 2020

  • 基于分层注意力机制的高效长文档分类探索

    本研究开发并发布了使用分段编码器，并将其与 Longformer 模型和部分预训练的 HAT 进行比较的完全预训练 HAT 模型，在多个长文档下游分类任务中，我们的最佳 HAT 模型在使用 10-20％ GPU 内存的情况下比同等大小的 Longformer 模型更快地处理文档并实现更好的性能。在消融研究中，发现 HAT 在整个模型中进行跨段上下文信息处理比其他配置的早期或晚期跨段上下文处理性能更好。

    Oct, 2022