May, 2023

(大型) 语言模型中实体偏见的因果视角

PDF
TL;DR通过提出特定的结构因果模型（SCM）及其上的因果干预技术，在白盒和黑盒模型中缓解了实体偏差，该干预通过干扰原始实体与邻近实体来减少与原始实体有关的特定偏见信息，同时仍保留来自相似实体的充分共同预测信息，在关系抽取任务上，我们的训练时间干预将 RoBERTa 的 F1 得分在 EntRED 上提高了 5.7 分，在 GPT-3.5 上，我们的上下文干预有效减少了参数化知识和上下文知识之间的知识冲突，并将 F1 得分在一个具有挑战性的测试集中提高了 9.14 分。
发现论文，激发创造
  • 通过因果干预对远程监督命名实体识别进行去偏置化处理

    该论文通过结构因果模型对 DS-NER 中的词典偏差进行解释和分类，并提出了一种基于因果干预的去除偏差的方法，包括通过后门调整和因果不变正则化器来提高模型鲁棒性，实验证明该方法显著提高了 DS-NER 的性能。

    Jun, 2021

  • CausaLM：通过反事实语言模型解释因果模型

    文章提出了 CausaLM 框架，基于 fine-tuning 的 deep contextualized embedding models 通过辅助对抗性训练任务，学习给定概念的反事实表示，用于估计其对模型性能的真实因果效应。我们的方法的副产品是一种语言表示模型，可以减轻数据中固有的不良偏差。

    May, 2020

  • 你的模型是否合理地分类实体？诊断和缓解实体类型中的虚假相关性

    该研究针对实体类型推断中的假关联问题，通过定义模型偏差种类并提出反事实数据增强方法，改善模型泛化能力。实验结果表明，该方法在提高模型性能方面具有一致的效果。

    May, 2022

  • 预训练语言模型去偏方法参数效率的实证分析

    本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。

    Jun, 2023

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 大型语言模型中的公平性偏差和去偏差之旅

    这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

    May, 2023

  • 在因果发现中整合大语言模型：统计因果方法

    通过将领域专家知识作为约束嵌入到算法中，结合使用统计因果推断方法和基于知识的因果推断方法，通过大型语言模型进行统计因果提示，可以改善数据驱动的因果推断。该方法能够解决数据集偏差和限制等挑战，展示了大型语言模型在不同科学领域中改进数据驱动因果推断的潜力。

    Feb, 2024

  • 大型语言模型的命名实体上下文偏置

    该研究探讨了大型语言模型（LLMs）中的上下文偏置，其中在二次通过重新评分期间，提供了额外的上下文信息以提升自动语音识别（ASR）性能。研究提议在重新评分期间利用提示方式对 LLM 进行偏置，其中包括偏置列表和少量示例，以作为计算假设得分时的额外信息。除了少量示例学习，该研究还提出了 LLM 的多任务训练，以预测实体类别和下一个标记。为了改进上下文偏置的效率并避免超过 LLM 的最大序列长度，该研究提出了动态提示，其中利用类别标签预测选择最可能的类别，并仅将该类别中的实体用作下一个标记预测的上下文。在内部通话、消息和听写数据集以及 SLUE-Voxpopuli 数据集上进行了字错误率（WER）评估。结果表明，偏置列表和少量示例相对于第一次通过 ASR 可以分别实现 17.8% 和 9.6% 的改善，而多任务训练和动态提示则可以分别实现 20.0% 和 11.3% 的相对 WER 改善。

    Sep, 2023

  • 大型语言模型的上下文偏见抑制

    大型语言模型（LLMs）中存在的性别偏见令人担忧，但提出了一种无需访问模型参数的新方法，即通过手动设计的文本前言和职业描述句来有效抑制性别偏见，并且对下游任务性能影响最小。

    Sep, 2023

  • CausalBERT：使用最少的监督注入因果知识到预训练模型中

    本文致力于探索如何把因果知识注入到预训练模型中，扩展了 CausalBERT 的思想并在各类数据集上进行实验验证，证明其有效性以及在因果推断任务上实现了新的性能提升。

    Jul, 2021