Jul, 2023

选择与增强：增强型密集检索知识图增强

PDF
TL;DR使用多任务框架，将文本描述与知识图谱实体相关联，以改进知识图谱的性能，并通过检索模型选择富有信息或高度相关的文本描述来增强实体。实验结果显示，与传统的卷积神经网络相比，使用文本增强的知识图谱方法在链接预测中的 Mean Reciprocal Rank (MRR) 和 Hits@10 分别提高了 5.5% 和 3.5%。
textual informationknowledge graphentity representationstext-enhanced kg embeddingsretriever model
发现论文，激发创造
  • 边缘：用外部文本丰富知识图谱嵌入

    该论文提出了一种名为 Edge 的知识图谱增强和嵌入框架，通过外部文本语义和结构层面的知识图谱增强，设计图对齐术语，负采样和嵌入学习，Edge 在链接预测和节点分类方面表现出鲁棒性和高效性。

    Apr, 2021

  • 为语言模型赋予多模态知识图谱表达

    本文提出使用外部知识图谱作为存储知识，并使用密集索引来检索以提高自然语言理解模型的参数效率，并通过两项下游任务证明了学习到的实体表示的实用性。

    Jun, 2022

  • 检索增强的语言模型用于极端多标签知识图链接预测

    通过在大型语言模型中提取利用结构化真实世界知识的相关信息，我们提出了一种新的任务，即极端多标签知识图链接预测任务，以便模型可以使用多个响应来执行推断，从而解决了大型语言模型在开放式查询中的外推问题。

    May, 2024

  • 通过链接预测从文本中归纳实体表征

    本文通过一个综合评估协议，探讨了使用预测链接的实体表示学习，并考虑了线性预测和实体分类任务以及针对面向实体的搜索的信息检索任务，通过一个预训练的语言模型体系结构，证明这些学习的表示不仅适用于 KG 特定任务，还具有比之前的方法更强的泛化性能，同时也在其他任务方面表现出色。

    Oct, 2020

  • Ered: 充分考虑实体与描述的文本增强表示

    本文研究了在 fine-tuning 阶段明确地包含实体和实体描述的方法，并使用知识模块以及辅助任务来平滑不同层次表示之间的语义差距，并在四个知识相关任务和两个通用任务上实验，取得了新的最优结果。

    Aug, 2022

  • 利用知识图谱增强神经机器翻译

    本文研究证明，通过在神经网络中嵌入知识图谱可以提高实体和专有名词的翻译效果，并提出了两种方法以增强神经模型的语义特征提取和对数据稀缺性和词汇表外的单词的挑战进行了探讨，结果表明，KG-NMT 模型取得了很好的效果。

    Feb, 2019

  • 运用语义增强的方式进行社交媒体文本的命名实体识别

    在本文中，我们提出了一种基于神经网络的命名实体识别方法，它能够同时考虑本地文本信息和通过对大规模语料库进行语义扩充所获得的信息，并且采用注意力机制和门控机制来编码和聚合这些信息，从而在三个从英文和中文社交媒体平台收集的基准数据集上展现出了明显的优越性。

    Oct, 2020

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022