Jun, 2024

KEHRL: 使用层次强化学习学习知识增强语言表征

PDF
TL;DR本文提出了一种通过层次强化学习来学习知识增强语言表示的方法，该方法集成了知识图谱中的关系三元组，并通过自监督学习将这些外部数据源整合到语言模型中，以避免注入不准确或不相关的知识，并有效地提升了模型在各种自然语言理解任务上的性能。
发现论文，激发创造
  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023

  • 知识图谱和预训练语言模型增强的对话式推荐系统表示学习

    利用对话历史和自然语言交互，通过知识增强的实体表示学习框架（KERL）来改善对话型推荐系统的语义理解和推荐效果。

    Dec, 2023

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • TRELM: 面向强大和高效的基于知识增强的预训练语言模型

    TRELM 是一种强大高效的预训练框架，用于提升语言模型的知识扩充能力，并在知识探测任务和多种知识感知语言理解任务中表现优于其他基于知识的语言模型。

    Mar, 2024

  • 通过奖励塑造技术增强多跳知识图推理

    利用强化学习和 BERT 嵌入来改进多跳知识图谱推理的方法，以提高知识图谱推理的准确性和鲁棒性。

    Mar, 2024

  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • 知识表示学习：量化评述

    本文综述了知识表示学习的动机和现有方法，并在知识获取的三个评估任务上对几种典型的 KRL 方法进行了广泛的定量比较和分析。此外，我们还回顾了 KRL 的实际应用，包括语言建模、问答、信息检索和推荐系统，并讨论了剩余的挑战和未来的方向。

    Dec, 2018

  • 语言模型作为知识嵌入

    该论文提出了一种基于对比学习的 LMKE 方法，采用语言模型从文本信息中推导出知识嵌入，旨在丰富长尾实体的表征，并解决以前的基于描述的方法的问题，实验结果表明 LMKE 在知识嵌入基准测试中特别是长尾实体上取得了最先进的性能.

    Jun, 2022

  • 知识驱动强化学习

    本文提出一种名为知识引导强化学习（KGRL）的框架，该框架采用一种基于嵌入式的注意机制，可以在训练和推理阶段中灵活地改编、重新排列和重复使用外部知识，使得 RL 智能体更受社会接受，并在离散和连续动作空间的任务中展现出更高的样本效率和可解释性。

    Oct, 2022

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019