EMNLPOct, 2020

使用 Transformer 为端到端任务导向型对话系统建模语境化的知识图谱

PDF
TL;DR本文介绍了一种称为 COmet 的用于完全情境化实体表达的 Context-aware Memory Enhanced Transformer 框架，该框架能够在任务导向的对话系统中更好地利用知识库，避免了信息丢失，并取得了卓越的性能。
knowledge basestask-oriented dialogue systemsentity representationcontext-aware memory enhanced transformer frameworkcomet
发现论文，激发创造
  • 文本对话情感检测的知识增强 Transformer

    本文提出了一种知识增强型 Transformer (KET) 模型，结合分层自注意力机制和上下文感知情感图注意力机制，成功解决了分析对话中情绪所面临的常识和上下文理解问题，实验结果表明 KET 模型在情感检测方面表现良好，F1-score 明显高于当前最先进的模型。

    Sep, 2019

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • 具备实体一致性的端到端任务导向对话系统与知识库检索器

    本文提出了一种新的框架，通过两个步骤查询知识库以提高生成的实体的一致性，第一步是使用 KB 检索组件检索最相关的 KB 行，以过滤 Seq2Seq 响应生成模型中的无关实体，第二步则进一步执行关注机制以解决相关的 KB 列。两种方法被提出来使训练可行，包括远程监控和 Gumbel-Softmax 技术。在两个公共数据集上进行的实验表明，我们的模型通过优于基准系统，在生成一致实体响应方面具有较好的效果。

    Sep, 2019

  • COMET: 用于自动知识图谱构建的常识 Transformer

    我们提出了 COMET，一种生成通用语言的丰富多样的常识知识描述的模型，并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。

    Jun, 2019

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 使用参数学习任务导向对话系统的知识库

    本文提出了一种将知识库（KB）嵌入到模型参数中的方法，从而实现无需在交互中使用 DST 或模板响应以及 KB 作为输入的端到端对话系统；实验证明，基于该方法的端到端模型在各种 KB 大小下能够实现优异的性能。

    Sep, 2020

  • 端到端任务导向对话系统中基于约束知识库的蒸馏

    论文利用基于余弦相似度的滤波技术以及辅助损失函数构建了一个新的关于任务导向型对话系统和知识库之间的信息筛选模型，并提出了一个解决现有实体 F1 指标正确性问题的新指标 multiset entity F1。实验结果表明该模型比现有的最先进模型表现更好。

    Sep, 2021

  • GraphDialog: 将图表知识整合到端到端任务导向对话系统中

    本文提出一种适用于任务导向型对话系统的模型，利用知识库和对话的依存关系图结构信息解决了如何有效地将外部知识库整合到学习框架中以及如何准确捕捉对话历史语义的挑战。此外，该模型采用多跳推理能力以及循环单元架构进行表示学习。实验结果表明，该模型在两个不同的任务导向型对话数据集上均优于现有模型。

    Oct, 2020

  • 知识增强微调：更好地处理对话生成中的未知实体

    本篇论文提出了通过外部知识库训练对话系统，解决无法预测未知实体的问题，具有良好的实验效果。

    Sep, 2021

  • VLC-BERT：上下文化通识知识视觉问答

    本研究提出了 VLC-BERT 模型，该模型针对需要常识推理的视觉问答任务，通过使用预训练的 Commonsense Transformer（COMET）模型产生、选择和编码外部常识知识，结合视觉和文本线索，超越了使用静态知识库的现有模型.

    Oct, 2022