Nov, 2022

ADEPT：一个去偏见的提示框架

PDF
TL;DRADEPT 是一种基于流形学习的用于去偏见的 pre-trained language model（PLM）的方法，具有显式的去偏见术语来优化提示调整，旨在在保持平衡的同时维护 PLM 的表征能力。该方法通过多个实验在多个广泛认可的去偏见基准和下游任务上得到了有效的应用。
debiasingpre-trained language modelprompt tuningmanifold learningrepresentation ability
发现论文，激发创造
  • 通过两阶段方法缓解社会偏见：Prompt Tuning 推进而 Contrastive Learning 靠近

    本文提出了一种通过对抗训练启发的两阶段去偏差模型 CCPA，结合对比学习和持续提示增强的数据增强方法来缓解 PLMs 编码中的社会偏见，并通过实验证明其在去偏差性能方面超过了基线模型。

    Jul, 2023

  • 针对具有鉴别力的预训练语言模型的提示调节

    该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

    May, 2022

  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • DePT: 分解式提示调整用于参数高效微调

    通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了 DePT 在模型规模增大时更加高效，并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。

    Sep, 2023

  • 可靠的免梯度和免似然函数提示调整

    本文提出了一种适应预训练语言模型的技术，这种技术在只有 API 访问的情况下，通过软提示调整的方法进行微调，并且不需要访问 PLM 的任何内部表示，同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问 PLM 方法相竞争甚至超过它们。

    Apr, 2023

  • 预训练语言模型去偏方法参数效率的实证分析

    本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。

    Jun, 2023

  • 用于视觉语言预训练模型的近似提示调优

    本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

    Jun, 2023

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 可持续模块化去偏语言模型

    本文通过提出使用专用去偏置适配器的可持续模块化去偏置方法 ADELE，解决当前使用预训练语言模型存在的去偏置方法计算代价高和可能导致遗忘的问题，在性别去偏置任务上展示了 ADELE 的有效性，并证明其模块化特性使其在大规模下游训练后仍能保持公平，并成功将其运用到六种目标语种。

    Sep, 2021