Dec, 2022

预训练语言模型用于关键词生成的彻底实证研究

PDF
TL;DR本文深入研究了基于预训练语言模型（PLMs）的关键短语抽取和生成的设计选择及其表现，发现在领域内使用类 BERT 的 PLMs 可以用于构建强大且数据有效的关键短语生成模型。而在固定参数预算的情况下，将模型深度优先于模型宽度，将更多的层分配给编码器，能够带来更好的编码器 - 解码器模型的表现。同时，在引入四个领域内的 PLMs 后，本文在新闻领域中实现了有竞争力的表现，在科学领域中实现了最先进的表现。
发现论文，激发创造
  • 利用仅编码器预训练语言模型进行有效关键词生成

    该研究探讨了仅具有编码器的预训练语言模型在关键词生成中的应用，研究了优化架构决策以及对资源设置进行性能比较的效果。研究发现，使用仅具有编码器的预训练语言模型进行关键词生成能够广泛预测关键词，而使用前缀语言模型对编码器进行微调则是一种强大且高效的策略。该研究对推动关键词生成系统的发展提供了有价值的见解，并为未来的研究方法奠定了基础。

    Feb, 2024

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 基于条件生成的大型语言模型性能基准测试

    本文提出如何将 PLMs 应用到现有应用程序特定的生成基准上，对输入和输出语言等不同维度的 PLMs 在自然语言生成任务方面的优点和局限性进行了深入的实证研究，并分享了在开发新 PLMs 时考虑到的基准生成能力的最佳实践。

    Jun, 2023

  • 文本生成预训练语言模型综述

    本文对基于预训练语言模型的文本生成方法进行了综述，包括如何编码输入、设计生成模型、以及如何优化预训练语言模型以生成特定性质的文本；同时讨论了应用与存在挑战，总结了有用资源和应用举例，并提出了未来研究方向。

    Jan, 2022

  • 基于预训练序列到序列模型的关键词生成中的模型选择和解码重新思考

    通过对模型选择和解码策略的系统分析，本文提出 DeSel 算法，通过对 5 个数据集进行评估，平均提高 4.7% 的语义 F1 得分，为基于预训练语言模型的关键词生成（KPG）领域的深入研究奠定了基础。

    Oct, 2023

  • 文本生成的预训练语言模型：综述

    本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。

    May, 2021

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023