ACLJul, 2023

通过两阶段方法缓解社会偏见：Prompt Tuning 推进而 Contrastive Learning 靠近

PDF
TL;DR本文提出了一种通过对抗训练启发的两阶段去偏差模型 CCPA，结合对比学习和持续提示增强的数据增强方法来缓解 PLMs 编码中的社会偏见，并通过实验证明其在去偏差性能方面超过了基线模型。
发现论文，激发创造
  • Co$^2$PT：通过反事实对比提示调整减轻预训练语言模型中的偏见

    提出了一种有效的通过反事实对比提示调节方法来减轻社会偏见的 Co^2PT，并实验证明了其在偏见减轻方面的有效性和对现有上游去偏模型的适用性。

    Oct, 2023

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • ADEPT：一个去偏见的提示框架

    ADEPT 是一种基于流形学习的用于去偏见的 pre-trained language model（PLM）的方法，具有显式的去偏见术语来优化提示调整，旨在在保持平衡的同时维护 PLM 的表征能力。该方法通过多个实验在多个广泛认可的去偏见基准和下游任务上得到了有效的应用。

    Nov, 2022

  • LM-CPPF: 基于释义的数据增强方法用于对比提示式少量样本微调

    本文介绍一种利用生成式语言模型在少样本学习中进行数据增强的方法 —— 通过提示为基础的几乎相同句子识别（LM-CPPF）方法，实验证明此方法相对于其他数据增强方法有着更为显著的优势，如易操作数据增强、回译和多重模板等方法，并在多项文本分类基准测试中获得最佳效果。

    May, 2023

  • 预训练语言模型去偏方法参数效率的实证分析

    本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。

    Jun, 2023

  • CPL: 计数器事实提示学习用于视觉和语言模型

    本文提出了一种新的对视觉和语言模型进行计数事实学习（counterfactual prompt learning，CPL）的方法，该方法同时采用反事实生成和对比学习的方法，在一个联合优化框架中从真实和反事实例子中学习更具有普适性的 prompt 表示。实验测试表明，CPL 在不同的视觉和语言任务上都可以获得优秀的 few-shot 性能。

    Oct, 2022

  • 预训练语言模型的对比演示调整

    本文提出一种新颖的对比演示调整方法，它是可插拔、可扩展和高效的，可用于调整预先训练的语言模型来执行分类任务。实验结果表明，这种方法与先前的方法 LM-BFF 和 P-tuning 相结合可以提高性能。

    Apr, 2022

  • CCPrompt：针对多类别分类的反事实对比提示调优

    本研究提出了一种基于对比意义和对立特性的反事实对比提示调优（CCPrompt）方法，可以提高多类别分类任务，例如关系分类、主题分类和实体打标任务的准确性和鲁棒性，并采用简单的暹罗猫（Siamese）表示学习来增强模型的鲁棒性。

    Nov, 2022

  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • 基于软提示调节的大型语言模型偏置评估

    本文探讨在情感分类任务上使用软提示调整识别大型语言模型（LLMs）如 OPT 和 Galactica 语言模型中的偏见，使用群体公平性（偏见）来检查模型偏见，并发现有趣的偏见模式，以便在实践中部署这些模型之前，识别这些偏见。

    Jun, 2023