Jun, 2022

为语言模型赋予多模态知识图谱表达

PDF
TL;DR本文提出使用外部知识图谱作为存储知识，并使用密集索引来检索以提高自然语言理解模型的参数效率，并通过两项下游任务证明了学习到的实体表示的实用性。
natural language understandingknowledge graphmultilingualdownstream tasksentity representations
发现论文，激发创造
  • VisualSem: 一个高质量的视觉与语言知识图谱

    VisualSem 是一个高质量的知识图谱，包括具有多语言注释、多幅图像和视觉相关关系的节点，并提供了可以用作输入的图像或句子并检索知识图谱中实体的神经多模态检索模型。

    Aug, 2020

  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • 基于上下文和知识图谱的动态表示

    本文提出了一种名为 CKG 的动态表示方法，利用外部知识图谱中的实体信息来提高语言句子的正确语义，实验表明，CKG 在多项任务中达到了最优结果。

    Dec, 2022

  • 选择与增强：增强型密集检索知识图增强

    使用多任务框架，将文本描述与知识图谱实体相关联，以改进知识图谱的性能，并通过检索模型选择富有信息或高度相关的文本描述来增强实体。实验结果显示，与传统的卷积神经网络相比，使用文本增强的知识图谱方法在链接预测中的 Mean Reciprocal Rank (MRR) 和 Hits@10 分别提高了 5.5% 和 3.5%。

    Jul, 2023

  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024

  • 提高多语言知识和文本建模能力的适配器

    本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

    Oct, 2022

  • 基于知识图谱的神经网络在自然语言处理中的应用

    提出了一种增强学习模型的方案，即通过知识图谱的事实三元组来为自然语言处理任务提供上下文知识，并采用基于卷积的模型来减少关注空间，从而大大提高了文本分类和自然语言推理任务的性能。

    Feb, 2018

  • 检索增强的语言模型用于极端多标签知识图链接预测

    通过在大型语言模型中提取利用结构化真实世界知识的相关信息，我们提出了一种新的任务，即极端多标签知识图链接预测任务，以便模型可以使用多个响应来执行推断，从而解决了大型语言模型在开放式查询中的外推问题。

    May, 2024

  • 多模态知识图谱增强实体感知图像描述

    该研究提出一种构建多模态知识图谱，将视觉对象和命名实体联系起来并同时捕捉实体之间的关系在内的新方法，以帮助名实体感知图像并生成更具信息量的事件描述。

    Jul, 2021

  • 利用知识图谱增强神经机器翻译

    本文研究证明，通过在神经网络中嵌入知识图谱可以提高实体和专有名词的翻译效果，并提出了两种方法以增强神经模型的语义特征提取和对数据稀缺性和词汇表外的单词的挑战进行了探讨，结果表明，KG-NMT 模型取得了很好的效果。

    Feb, 2019