Apr, 2020

解读神经自然语言处理的因果中介分析：性别偏见案例

PDF
TL;DR通过因果中介分析理论，我们提出了一种方法来解释神经模型语言处理中行为的成因，并使用此方法研究了预先训练的 Transformer 语言模型中性别偏差的机制。通过对个体神经元和注意力节点的分析，我们发现性别偏差效应分布稀疏，集中在网络的小部分，并且能被不同的中介子部件放大或抑制，同时也可以通过中介子的直接和间接影响进行分解。
发现论文，激发创造
  • 通过因果中介分析研究去偏置方法带来的影响

    本文以因果中介分析的方法来研究消除语言模型偏见的内部机制对下游任务毒性检测的影响，结果表明需要测试不同的偏见度量方法和关注模型中特定组件的行为变化，如语言模型的前两层和注意力头。

    Jun, 2022

  • 识别并调整英语语言模型中负责性别偏见的 Transformer 组件

    研究探讨了三种方法来识别语言模型组件与特定输出之间的因果关系，通过对 GPT-2 进行参数有效的微调，成功减轻性别偏见，同时对整体语言建模造成的损害较小。

    Oct, 2023

  • 神经自然语言处理中的性别偏见

    本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

    Jul, 2018

  • 通过因果中介分析测试预训练语言模型对分配律的理解

    本文介绍了一个新的自然语言推理诊断数据集 DistNLI，旨在研究分配性带来的语义差异，运用因果中介分析框架量化模型行为并探索其中的机制，发现模型对此高层次语义知识的理解程度与模型大小和词汇表大小相关，并提出了模型如何编码此类高层次语义知识的见解。

    Sep, 2022

  • 模型适应的去偏算法

    提出了一种用于检测和减轻语言模型中性别偏见的新方法，通过因果分析确定了问题模型组件，发现中上部前馈层最容易传递偏见，根据分析结果通过线性投影来改进模型，该方法（DAMA）显著减少了偏见，并保持了模型在下游任务上的性能。

    Oct, 2023

  • 深度自然语言处理模型中的细粒度解释和因果分析

    本文介绍了深度 NLP 模型中的细粒度解释和因果分析，包括如何分析单个神经元和神经元组，输入特征的作用以及如何应用这种神经元分析技术，如网络操作和域适配。同时，本文介绍了两个工具包：NeuroX 和 Captum。

    May, 2021

  • 通过因果推断实现词嵌入：减少性别偏见并保留语义信息

    通过提出一种基于因果推断框架的新方法来有效消除性别偏见，该方法可以在保留嵌入式语义信息的同时构建和分析性别信息流的复杂因果机制，从而在性别去偏任务中取得最新的技术结果。

    Dec, 2021

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • 偏见的诞生：一项关于英语语言模型中性别偏见演变的研究

    研究发现使用 LSTM 架构训练的语言模型在表示性别时存在动态变化，并且性别信息逐渐局部化。通过监控训练动态，可以检测到女性和男性在输入嵌入中的表示不对称。去除偏见的策略如何应用需要更多深入探讨。

    Jul, 2022

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024