Apr, 2023

位置偏差对于令牌分类中的语言模型的影响

PDF
TL;DR本研究调查了语言模型中 Token Classification 任务位置偏差对性能的影响，提出 Random Position Shifting 和 Context Perturbation 两种方法缓解该影响，并在实验中发现这两种方法可提高模型在 CoNLL03、UD_en 和 TweeBank 三个数据集上的性能大约 2%。
language modelsnatural language processingtoken classificationposition biasperformance
发现论文，激发创造
  • 通过缩放单一维度来减轻大型语言模型的位置偏见

    本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

    Jun, 2024

  • 消除语言模型的位置偏见：一种机制化方法

    通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。

    Jul, 2024

  • NLPositionality: 数据集和模型设计偏差的表征

    NLPositionality 框架用于检测自然语言处理（NLP）模型及数据集的偏差和位置特征，研究发现现有的数据集和模型普遍偏向西方白人、受过高等教育的年轻人，并排斥一些群体如非二元人群和非英语母语者，本文提出如何检查 NLP 模型及数据集的创造者的位置特征。

    Jun, 2023

  • 在大型语言模型时代从位置偏差的角度重新审视零样本抽象摘要生成

    我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 Dolly-v2 等多个 LLM 模型以及 Pegasus 和 BART 等最先进的预训练编码解码抽象概括模型中的位置偏差。我们的发现为零样本概括任务的模型性能和位置偏差带来了新的见解和讨论。

    Jan, 2024

  • 问答系统中的位置偏差

    本研究发现在训练集中，答案位置分布呈高度偏斜时，使用位置预测作为答案的提取型问答模型容易学习到虚假的位置线索，并且在不同位置上无法提供正确的答案。因此，对于 BiDAF 和 BERT 等受到位置偏见影响的模型，我们实现了多种消除位置偏见的方法，发现使用答案先验分布作为偏见模型非常有效，在受到偏见的 SQuAD 数据集上，BERT 性能从 37.48% 提高到 81.64%。

    Apr, 2020

  • 大型语言模型的零样本位定偏差

    本研究提出了一种零样本去偏置（ZOE）框架，通过利用预训练的大型语言模型的无监督回复来减轻位置偏差，从而有效地缓解了四种类型的位置偏差。

    Jan, 2024

  • 位置编码学到了什么？一项关于预训练语言模型位置编码的实证研究

    本文通过特征级别分析和大量实证研究主流预训练位置嵌入对 Transformer 的影响，从而为特定任务选择适当的位置编码函数提供新的见解。

    Oct, 2020

  • 减少 LLM 中的位置偏倚的定位感知参数高效微调方法

    通过开展广泛的实验证明，我们提出的 Position-Aware Parameter Efficient Fine-Tuning 方法能够减少大型语言模型中的位置偏差，从而提高处理长上下文序列的效果，并改进对需要从外部检索知识的各种任务的表现。

    Apr, 2024

  • 利用位置偏差进行鲁棒的方面情感分类

    本文针对当前情感分类模型面对领域迁移和对抗样本时的鲁棒性问题，提出了两种通过引入位置偏置来降低模型误判概率以提升分类效果的机制：加权偏置和丢弃偏置，在跨领域和对抗数据集上的实验证明，这种机制明显地提高了模型的鲁棒性和效果。

    May, 2021

  • 第二次审视的偏见：对德国教育同行评审数据建模偏见的深入挖掘

    本文基于德文语料库的数据集，在多个体系结构中通过词嵌入联想测试（WEAT）分析了预先训练的德语语言模型的偏见，发现这些语言模型存在实质性的概念、种族和性别偏见，并且在同伴评审数据的微调中，偏见在概念和种族轴上有显着变化。

    Sep, 2022