Dec, 2021

从文本中学习关键词的丰富表示

PDF
TL;DR本文研究如何训练针对文本文档中关键短语的任务特定语言模型，通过使用不同的掩码策略在区分性和生成性环境下对预训练变压器语言模型进行实验，并提出新的预训练目标 - 关键短语边界填充替换（KBIR），用于关键短语提取，与现有最佳方法相比，能够提高 8.16 个 F1 分数；此外，还提出了适用于 BART 的新的预训练设置 - KeyBART，能够在 CatSeq 格式中重现与输入文本相关的关键短语，用于关键短语生成，并能比现有最佳方法提高 4.33 个 F1M 分数。最后，对预训练语言模型进行细微调整，用于命名实体识别，问答，关系抽取，编写摘要等，达到了与现有最佳方法可比的性能，表明学习关键短语的丰富表达对于许多其他基础的自然语言处理任务是有益的。
task-specific language modelspre-training transformer language modelskeyphrase extractionnamed entity recognitionabstractive summarization
发现论文，激发创造
  • 使用预训练语言模型进行关键短语预测

    通过将关键短语预测分为现有关键短语提取与不存在关键短语生成两个子任务，并提出使用 BERT 在这两个子任务中实现联合推论的方法，本研究提供了一种全面利用提取和生成方法各自优势的方法，并在基准数据集上实现了最新的预测结果。

    Apr, 2020

  • 基于 Transformer 的关键词生成的跨领域鲁棒性

    通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。

    Dec, 2023

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023

  • 面向资源受限的关键词生成的表示学习

    本文提出一种数据导向的方法，通过检索式语料统计信息首先确定显著信息，然后使用基于预训练语言模型的任务特定中间表示学习生成关键短语。通过在多个关键短语生成基准测试中对该方法进行实验，证明了该方法对于促进低资源关键短语生成和零 - shot 领域适应性的有效性，尤其有益于缺失的关键短语的学习。

    Mar, 2022

  • BERT 词汇扩展与知识库构建

    知识库搭建从预训练语言模型开始，提出了一种扩展语言模型词汇量的方法，实现了多词汇实体的直接嵌入，这在知识图谱的链接预测任务和数据管理中的元数据完成方面迈出了重要的一步。

    Oct, 2023

  • 神经语言模型的紧凑预训练方法

    本研究表明，使用抽象摘要和关键词提取等技术，从不结构化的数据中构建一个紧凑的子集，可以更有效地和更快地为传统预训练及任务特定分类器的训练提供有关领域内的信息，减少了预训练时间，并在针对六个不同组合的数据集并使用两种不同的 NLMs 的条件下表现出了优越的结果。

    Aug, 2022

  • 面向知识图谱填充的任务特定预训练和提示分解方法

    描述一个知识图谱填充系统，通过特定任务的预训练提高被屏蔽对象令牌的 LM 表示，分步生成候选对象的提示分解等方法提供高质量的检索。该系统赢得了 ISWC 2022 举办的 LM-KBC 挑战赛的赛道 1，并在 BERT LM 上实现了 55.0％的 F-1 得分。

    Aug, 2022

  • 基于 Transformer 的文本摘要技术用于关键词生成

    本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

    Sep, 2022

  • 教授预训练模型生成简单文本以进行文本简化

    本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

    May, 2023

  • 预训练语言模型用于关键词生成的彻底实证研究

    本文深入研究了基于预训练语言模型（PLMs）的关键短语抽取和生成的设计选择及其表现，发现在领域内使用类 BERT 的 PLMs 可以用于构建强大且数据有效的关键短语生成模型。而在固定参数预算的情况下，将模型深度优先于模型宽度，将更多的层分配给编码器，能够带来更好的编码器 - 解码器模型的表现。同时，在引入四个领域内的 PLMs 后，本文在新闻领域中实现了有竞争力的表现，在科学领域中实现了最先进的表现。

    Dec, 2022