ICMLJun, 2023

元学习和代表性语音化实现有效结构化提示

PDF
TL;DR本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。
发现论文，激发创造
  • 元规范化的提示学习

    通过 Prompt Meta-Regularization (ProMetaR) 方法，可以提高视觉语言模型中 prompt 学习的泛化能力，并可以从梯度对齐的角度解释这种改进。

    Apr, 2024

  • MetaPrompting：学习生成更好提示信息

    本文提出了一种称为 MetaPrompting 的通用软提示方法，它采用了公认的模型无关元学习算法来自动找到更好的提示初始化，有助于快速适应新的提示任务，并在四个不同的数据集上取得了显著的改进（1-shot 模式下精度提高了超过 6 个百分点），达到了新的最佳性能水平。

    Sep, 2022

  • 从预训练语言模型中引发知识，以实现典型提示语言生成

    本研究探讨了如何从预训练语言模型中提取知识，提出了一种基于原型的提示语言生成器，以优化模型并实现有效的零样本和少样本分类。

    Jan, 2022

  • 知识化提示微调：将知识融入文本分类的提示语生成器

    本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

    Aug, 2021

  • 基于提示词的几何抽取方法在简历信息提取中的应用

    本文介绍了一种应用 Prompt learning 到简历信息提取的方法，其中使用了 MLM 和 Seq2Seq PLMs，以及 Manual Knowledgeable Verbalizer (MKV)，并探讨了在应用场景下设计 Prompt templates 和 verbalizer 的规则。实验证明，基于这些规则设计出来的模板和 verbalizer 比现有的手动模板和自动生成的提示方法更有效和更具鲁棒性，同时 MKV 显著解决了样本不平衡问题。

    Sep, 2022

  • 通过元学习学习更好的软提示初始化

    本文提出了 MetaPT，一种基于元学习的预训练方法来对话题进行自适应，并在 7 个下游任务中展示了比现有方法更好的性能和稳定性。

    May, 2022

  • 基于提示的少样本调优的原型话语生成器

    提出了基于原型向量的语言预训练模型元素标定方法 ProtoVerb，使用对比学习算法在训练数据中学习原型向量作为元素标定器，显著优于现有自动元素标定器，特别是在数据稀缺场景下。ProtoVerb 即使在未调整的 PLMs 上也能提高基于提示的微调精度。

    Mar, 2022

  • 元梯度正则化下的自监督元提示学习，用于小样本泛化

    这篇论文提出了一种名为 SUPMER 的 Self-sUpervised meta-Prompt 学习框架，通过自主学习锚定 Meta-Training 任务和整体学习的方法，实现 Prompt Tuning 在 few-shot learning 任务中领先于其他方法，同时也加强了领域通用性的性能。

    Mar, 2023

  • 使用无需映射的自动转述器增强基于提示的自我训练对多类别分类的提升

    最近，基于提示的微调作为少样本文本分类任务的核心技术引起了相当大的兴趣。本研究引入了一种名为 Mapping-free Automatic Verbalizer (MAV) 的新型高效词汇提取结构，利用 MLM 预测中的所有信息来自动提取分类所需的单词特征，并在五个多类别分类数据集上的实验结果表明了 MAV 的自我训练效果的优越性。

    Dec, 2023

  • 通过多语言语言教师软提示提升跨语言自然语言推理

    本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。

    May, 2023