ACLAug, 2021

知识化提示微调：将知识融入文本分类的提示语生成器

PDF
TL;DR本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。
发现论文，激发创造
  • 从预训练语言模型中引发知识，以实现典型提示语言生成

    本研究探讨了如何从预训练语言模型中提取知识，提出了一种基于原型的提示语言生成器，以优化模型并实现有效的零样本和少样本分类。

    Jan, 2022

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • KnowPrompt：基于知识感知和协同优化的关系抽取触发器调优

    我们提出了一种知识感知的提示调整方法，名为 KnowPrompt，用于关系提取，即将潜在知识注入到提示构建中，并通过结构约束进行协同优化，该方法在五个数据集上的实验结果表明其有效性。

    Apr, 2021

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022

  • 基于提示的少样本调优的原型话语生成器

    提出了基于原型向量的语言预训练模型元素标定方法 ProtoVerb，使用对比学习算法在训练数据中学习原型向量作为元素标定器，显著优于现有自动元素标定器，特别是在数据稀缺场景下。ProtoVerb 即使在未调整的 PLMs 上也能提高基于提示的微调精度。

    Mar, 2022

  • 一种新颖的示例调整方法：将特定场景概念融入到语言化生成模型中

    我们提出了一种新颖的方法来构建标签器，该方法通过从任务特定的场景中提取丰富的概念作为标签词候选者，并开发了一种新颖的级联校准模块来将候选词精炼为每个类的标签词集合，在零样本文本分类的广泛实验中，我们的方法表现优于现有方法，并取得了最新的结果。

    Jan, 2024

  • 基于知识的提示调优通用视觉语言模型

    通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

    Aug, 2023

  • 关系分类的生成式提示调制

    本文提出了一种新的生成式提示调整方法，将关系分类重新构造为一种填充问题，旨在解决当前提示方法的局限性，并在推理期间设计实体导向的解码和判别关系评分以有效地生成和对齐关系，并在完全监督的设置和低资源设置下展示了我们方法的有效性。

    Oct, 2022

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023