LM-CPPF: 基于释义的数据增强方法用于对比提示式少量样本微调

May, 2023

LM-CPPF: 基于释义的数据增强方法用于对比提示式少量样本微调

LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning

Amirhossein Abaskohi, Sascha Rothe, Yadollah Yaghoobzadeh

TL;DR本文介绍一种利用生成式语言模型在少样本学习中进行数据增强的方法 —— 通过提示为基础的几乎相同句子识别（LM-CPPF）方法，实验证明此方法相对于其他数据增强方法有着更为显著的优势，如易操作数据增强、回译和多重模板等方法，并在多项文本分类基准测试中获得最佳效果。

Abstract

In recent years, there has been significant progress in developing pre-trained language models for NLP. However, these models often struggle when fine-tuned on small datasets. To address this issue, researchers have proposed various adaptation approaches. Prompt-based tuning is arguabl

pre-trained language models fine-tuning contrastive learning data augmentation text classification

发现论文，激发创造

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

May, 2022

CPL: 计数器事实提示学习用于视觉和语言模型

本文提出了一种新的对视觉和语言模型进行计数事实学习（counterfactual prompt learning，CPL）的方法，该方法同时采用反事实生成和对比学习的方法，在一个联合优化框架中从真实和反事实例子中学习更具有普适性的 prompt 表示。实验测试表明，CPL 在不同的视觉和语言任务上都可以获得优秀的 few-shot 性能。

Oct, 2022

不要停止预训练？使基于提示的微调更加强大的学习者

本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法 (PCP)。实验证明，相较于传统方法，PCP 在 21 个基准测试中表现更好。

May, 2023

通过两阶段方法缓解社会偏见：Prompt Tuning 推进而 Contrastive Learning 靠近

本文提出了一种通过对抗训练启发的两阶段去偏差模型 CCPA，结合对比学习和持续提示增强的数据增强方法来缓解 PLMs 编码中的社会偏见，并通过实验证明其在去偏差性能方面超过了基线模型。

Jul, 2023

可微分数据增强用于对比句子表示学习

本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

Oct, 2022

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

利用基于提示的数据增强提高黑盒少样本文本分类

本文提出了一种名为 BT-Classifier 的方法，它通过对数据进行数据增强、把黑盒模型作为特征提取器以及使用小型的辅助语言模型的 prompt-based 微调训练分类器，达到了在不访问大型模型的梯度的情况下优化零样本学习任务的效果，并在 8 个文本分类数据集上取得了与全模型调整方法相当的成果。

May, 2023

适应缺少样本的自然语言生成的比例调优

本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

Sep, 2023

POUF: 面向提示的无监督微调大规模预训练模型

本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

Apr, 2023