COLINGFeb, 2024

利用仅编码器预训练语言模型进行有效关键词生成

PDF
TL;DR该研究探讨了仅具有编码器的预训练语言模型在关键词生成中的应用，研究了优化架构决策以及对资源设置进行性能比较的效果。研究发现，使用仅具有编码器的预训练语言模型进行关键词生成能够广泛预测关键词，而使用前缀语言模型对编码器进行微调则是一种强大且高效的策略。该研究对推动关键词生成系统的发展提供了有价值的见解，并为未来的研究方法奠定了基础。
发现论文，激发创造
  • 预训练语言模型用于关键词生成的彻底实证研究

    本文深入研究了基于预训练语言模型（PLMs）的关键短语抽取和生成的设计选择及其表现，发现在领域内使用类 BERT 的 PLMs 可以用于构建强大且数据有效的关键短语生成模型。而在固定参数预算的情况下，将模型深度优先于模型宽度，将更多的层分配给编码器，能够带来更好的编码器 - 解码器模型的表现。同时，在引入四个领域内的 PLMs 后，本文在新闻领域中实现了有竞争力的表现，在科学领域中实现了最先进的表现。

    Dec, 2022

  • 基于预训练序列到序列模型的关键词生成中的模型选择和解码重新思考

    通过对模型选择和解码策略的系统分析，本文提出 DeSel 算法，通过对 5 个数据集进行评估，平均提高 4.7% 的语义 F1 得分，为基于预训练语言模型的关键词生成（KPG）领域的深入研究奠定了基础。

    Oct, 2023

  • DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

    本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

    Dec, 2021

  • 低资源命名实体识别的预训练编码器比较研究

    该研究比较了不同策略下的预训练编码器在低数据量情境下的命名实体识别表现，结果表明编码器表现存在显著差异，并需要结合具体场景进行评估选择。

    Apr, 2022

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 预训练语言模型的大型产品密钥存储器

    本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。

    Oct, 2020

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • KILM：编码器 - 解码器语言模型中的知识注入

    本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

    Feb, 2023