Nov, 2022

SVM 与预训练语言模型（PLMs）在文本分类任务中的比较

PDF
TL;DR本文介绍了在使用传统的支持向量机（SVM）结合精细特征工程的方法进行文本分类任务时，与使用各种经过预训练的语言模型（PLMs）相比，其性能更便宜更优越的研究结果。
pre-trained language modelsnatural language processingtext classificationfine-tuningsvm linear classifier
发现论文，激发创造
  • 注意力并不总是所需之物：走向有效地分类特定领域的文本

    本文探讨了在专业领域文本分类中，预训练语言模型（PLMs）的使用是否有必要，通过比较在三个文本分类数据集上的各种模型的效果，发现对于专业领域文本分类任务，使用线性 SVM 分类器可以提供一种相当的、便宜的、可重现的、可解释的替代方案。

    Mar, 2023

  • 生物医学领域的预训练语言模型：一项系统调查

    本篇论文综述了近期预训练语言模型在生物医学领域的研究进展及其在生物医学下游任务中的应用，提出了现有生物医学 PLMs 的分类及其在下游任务中的应用，讨论了其限制与未来发展趋势。

    Oct, 2021

  • 利用预训练语言模型和微调增强电子商务推荐

    本文研究了将预训练语言模型应用于传统推荐算法中对电子商务数据集的影响，并将结果与基准模型进行了比较。通过领域特定的微调，将 PLMs 应用于传统推荐算法中可以提高模型的预测能力。这些结果凸显了在电子商务环境中利用文本信息的重要性，并提供了更好地应用 PLMs 的见解。

    Feb, 2023

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 突破图灵：检测机器生成文本方法的比较分析

    通过对三种不同方法进行深入评估，即传统的浅层学习、语言模型（LM）微调和多语言模型微调，本文对文本生成的重要性有了显著进展，尤其是在区分人类和机器生成文本方面，结果表明这些方法在性能上存在显著差异，强调了在自然语言处理领域中继续推进的重要性，为未来创造强大且具有高度辨别力的模型铺平了道路。

    Nov, 2023

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • 预训练语言模型表示的潜空间聚类进行主题发现

    本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

    Feb, 2022