Feb, 2024

转变是什么？将表征介入转化为自然语言

PDF
TL;DR通过操作语言模型的表示空间，我们可以将表示空间反事实转化为自然语言的反事实，从而分析与特定表示空间干预对应的语言变化，并解释用于编码特定概念的特征。此外，生成的反事实可用于减轻分类中的偏见。
language modelsrepresentation spacecounterfactualslinguistic alterationsbias in classification
发现论文，激发创造
  • MiMiC: 在表示空间中最小修改的反事实论证

    语言模型中的性别偏见和有毒语言等不良行为可以通过干预技术在表示空间中进行干预以减轻问题，本文提出了一种生成表达丰富的反事实干预方法以消除偏见和有毒语言，并在多类分类中显示了其有效性和优于强基准的性能。

    Feb, 2024

  • 对照干预揭示相对子句表征对一致性预测的因果效应

    本文提出了 AlterRep 方法，运用语言特征替换来检测 BERT 模型在处理语法复杂句子时是否符合英语语法规则；研究表明，BERT 模型在处理不同类型的关系从句时，依据相应的英语语法规则进行模拟预测，展示了从抽象的语言类别处理相对从句信息的能力。

    May, 2021

  • 多语言模型中的语言身份反事实检测

    利用一个名为 AlterRep 的方法，运用因果分析技术对多语言模型的内部结构进行研究，发现大规模多语言模型中存在着既有语言特定的组件又有语言通用组件，并展示了反事实推理方法在多语言模型上的应用前景。

    Oct, 2023

  • CausaLM：通过反事实语言模型解释因果模型

    文章提出了 CausaLM 框架，基于 fine-tuning 的 deep contextualized embedding models 通过辅助对抗性训练任务，学习给定概念的反事实表示，用于估计其对模型性能的真实因果效应。我们的方法的副产品是一种语言表示模型，可以减轻数据中固有的不良偏差。

    May, 2020

  • 道德建议接受者：语言模型是否理解自然语言干预？

    本研究探讨将自然语言用于干预模型行为以及改变其预测结果的可能性，特别是在社会刻板印象的语境下，研究了自然语言干预对阅读理解系统的有效性。实验发现，即使是目前功能强大的神经语言模型，在伦理干预方面表现依然极差，以致于即便干预语句十分简单，模型反应仍非常少。我们的新任务为社区提出了一项新的语言理解挑战。

    Jun, 2021

  • 因果探索的几何概念

    大语言模型基于文本的实值表示进行预测，包括从训练数据中学到的语言特性和偏见（如性别）。本研究通过将表示空间的子空间进行正交投影进行了对这些概念的信息分析，并提出了概念受控生成的方法。实证结果表明，在至少一个模型中，R-LACE 返回了包含约一半总概念信息的一维子空间，该子空间可用于精确操纵生成词的概念值。

    Jul, 2023

  • 用反事实表示解释文本分类器

    通过在文本表示空间进行干预的简单方法生成对抗事实，以用于分类器解释和偏见缓解。

    Feb, 2024

  • 测试预训练语言模型中的刻板印象

    本文研究语言模型中的偏见问题，提出了一种测试内部陈规陈瘤表现的简单方法，并探讨了该方法在性别偏见方面的应用。实验表明，使用无关的知识时，预训练的语言模型表现出一定的鲁棒性，并倾向于选择词语位置和句法结构等浅层语言线索来改变内部陈规陈瘤表现，从而为微调和评估中如何中性地处理语言模型提供了新的思路。

    Jan, 2023

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 反事实推理：测试语言模型对假设场景的理解

    通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

    May, 2023