Jan, 2022

从预训练语言模型中引发知识，以实现典型提示语言生成

PDF
TL;DR本研究探讨了如何从预训练语言模型中提取知识，提出了一种基于原型的提示语言生成器，以优化模型并实现有效的零样本和少样本分类。
发现论文，激发创造
  • 基于提示的少样本调优的原型话语生成器

    提出了基于原型向量的语言预训练模型元素标定方法 ProtoVerb，使用对比学习算法在训练数据中学习原型向量作为元素标定器，显著优于现有自动元素标定器，特别是在数据稀缺场景下。ProtoVerb 即使在未调整的 PLMs 上也能提高基于提示的微调精度。

    Mar, 2022

  • 知识化提示微调：将知识融入文本分类的提示语生成器

    本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

    Aug, 2021

  • 基于提示的少样本文本分类的进化语言生成搜索

    本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器，在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性，进一步推进了小样本文本分类的研究。

    Jun, 2023

  • 一种新颖的示例调整方法：将特定场景概念融入到语言化生成模型中

    我们提出了一种新颖的方法来构建标签器，该方法通过从任务特定的场景中提取丰富的概念作为标签词候选者，并开发了一种新颖的级联校准模块来将候选词精炼为每个类的标签词集合，在零样本文本分类的广泛实验中，我们的方法表现优于现有方法，并取得了最新的结果。

    Jan, 2024

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022

  • 基于原型的提示学习：基于预训练的视觉语言模型的原型提示学习

    本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法（PTP），用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示，从而有效地利用潜在知识并适应各种 PVLM。

    Oct, 2022

  • 元学习和代表性语音化实现有效结构化提示

    本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。

    Jun, 2023

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022

  • 基于提示词的几何抽取方法在简历信息提取中的应用

    本文介绍了一种应用 Prompt learning 到简历信息提取的方法，其中使用了 MLM 和 Seq2Seq PLMs，以及 Manual Knowledgeable Verbalizer (MKV)，并探讨了在应用场景下设计 Prompt templates 和 verbalizer 的规则。实验证明，基于这些规则设计出来的模板和 verbalizer 比现有的手动模板和自动生成的提示方法更有效和更具鲁棒性，同时 MKV 显著解决了样本不平衡问题。

    Sep, 2022

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022