本文探讨了在专业领域文本分类中，预训练语言模型（PLMs）的使用是否有必要，通过比较在三个文本分类数据集上的各种模型的效果，发现对于专业领域文本分类任务，使用线性 SVM 分类器可以提供一种相当的、便宜的、可重现的、可解释的替代方案。

Mar, 2023

本文提出了 Prompt-based Text Entailment (PTE) 低资源命名实体识别技术，将命名实体识别作为文本蕴含任务，并使用 Pre-trained Language Models 和 entity type-specific prompts 来获得高性能。通过在 CoNLL03 数据集和 MIT Movie 及 Few-NERD 数据集上进行的实验，结果表明该方法 PTE 在低资源场景下的表现优于微调的对照组。

Nov, 2022

使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。

Feb, 2024

本文回顾了近年来 NLP 任务范式转移的现象，着重介绍了一些有潜力解决不同 NLP 任务的范式，这些转移可以通过深度学习和预训练语言模型等方式实现，从而提高模型性能。

Sep, 2021

本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

Apr, 2021

本研究设计了一种提示策略，将多个 NLU 任务作为上下文蕴含进行推断，并提出了简单伪标签编辑算法（SimPLE）以提高自我训练的伪标签质量，在二分类和多分类分类任务上进行的实验表明，自我训练蕴含模型在语言理解任务上比大型语言模型更有效和可信。

May, 2023

本文介绍了在使用传统的支持向量机（SVM）结合精细特征工程的方法进行文本分类任务时，与使用各种经过预训练的语言模型（PLMs）相比，其性能更便宜更优越的研究结果。

Nov, 2022

提出了一种基于超级对比学习预处理的新框架 ConEntail，它使用统一的元任务进行分类，该任务基于嵌套蕴含。实验结果表明，该框架可以有效地利用现有的注释数据，在零和少量样本情况下始终优于基线 (分别达到 9.4% 和 3.5% 的平均改进)。

Oct, 2022

Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

Sep, 2023

我们使用语言模型为每个文本标记概念并测量模型在测试数据上的概念偏差，然后提出一种数据再平衡方法来减轻由于训练数据中的不平衡标签分布而引起的虚假相关性，并证明我们的缓解方法在处理文本分类数据集中的标签分布偏差时具有优越性。

Nov, 2023