ACLOct, 2022

利用预训练模型描述知识图谱中的关系

PDF
TL;DR本文研究预训练语言模型在数据到文本生成中使用关系标签生成语义准确输出时的问题，并通过实验发现，使用多样化的关系标签数据可以提高模型在生成新领域的语义准确性。
pretrained language modelsdata-to-text generationrelation labelssemantic accuracydiverse label set
发现论文，激发创造
  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 开放关系建模：学习定义实体之间的关系

    本文介绍了开放式关系建模问题，引入了使用定义实体进行条件生成类型的关系描述的方法，并将推理路径和选择机制包括在内以帮助在知识图谱数据上进行开放式关系建模。实验结果表明，该模型能够生成简洁但信息丰富的关系描述，捕捉实体的代表性特征。

    Aug, 2021

  • 知识图谱补全模型是少样本学习器：基于 LLMs 的电子商务关系标注的实证研究

    本文通过实证研究发现，大型语言模型在电商知识图谱中的关系标注任务中具有强大的学习能力和预测能力，相比于现有的知识图谱补全模型在关系标注任务上具有更高的竞争力，足以替代人工标注。

    May, 2023

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 预训练语言模型的下游模型设计 —— 关系抽取任务

    本文提出了一种新的神经网络结构和特殊的损失函数来提高细化语言模型（PLMs）在监督关系抽取中的性能。实验证明，该方法在多项公共数据集上显著超过了当前最优基线模型。

    Apr, 2020

  • 零样本数据到文本生成的神经管线

    本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的 WikiFluent 数据集，在 WebNLG 和 E2E 数据集上进行实验证明，使用单个项目描述生成 D2T 是可行的，且可以从 RDF 三元组中完成零 - shot D2T 生成。

    Mar, 2022

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 利用大型语言模型进行关系发现来消除实体匹配的歧义

    通过预定义一组与任务相关的关系，我们的方法将重点从纯粹识别语义相似性转移到理解并定义实体之间的 “关系”，以解决匹配中的模糊性，从而使分析员能够更有效地浏览从完全匹配到概念相关实体的相似性范围。

    Mar, 2024

  • 从预训练语言模型中抽取关系嵌入

    本研究旨在探讨如何从预训练的语言模型中提取出表示两个词之间关系的向量，并通过 Fine-tuning 使类似关系的词对应的向量相似，实验结果表明，即使在没有任务特定的 Fine-tuning 的情况下，所得到的关系嵌入在类比和关系分类基准测试中都具有很高的竞争力。

    Sep, 2021