因果 ATE 减轻有控制的文本生成中的无意偏差

Nov, 2023

因果 ATE 减轻有控制的文本生成中的无意偏差

Causal ATE Mitigates Unintended Bias in Controlled Text Generation

Rahul Madhavan, Kahini Wadhawan

TL;DR通过因果平均处理效应（因果 ATE）方法，研究语言模型中的属性控制。除去数据集中属性的虚假相关性，该方法减少了模型在推理过程中因对虚假相关变量的干扰而产生属性幻觉，并在分类任务中降低了误判的数量，从而解决了去毒化后对特定群体出现的无意识偏见问题。

Abstract

We study attribute control in language models through the method of Causal Average Treatment Effect (causal ate). Existing methods for the

attribute control language models causal ate spurious correlation toxicity mitigation

发现论文，激发创造

通过令牌级属性控制生成实现因果公平的语言模型

使用因果平均处理效应（ATE）分数和反事实增强作为文本生成任务语言模型（LMs）属性控制的方法，我们提出了因果公平语言（CFL）架构，以插入并播放的方式解毒预训练 LMs。我们的实验表明，CFL 实现了这种解毒而不会对模型困惑度产生太大影响，并通过对 BOLD 数据集的实验表明，CFL 可以缓解意外偏见问题。

Jun, 2023

未观测到的混淆因素对条件和平均处理效应的界限

本研究提出了一种可扩展的损失最小化方法，用于估计有界效应的未观察混淆因素对治疗选择的倾向比的条件平均治疗效应（CATE）的界限。同时，还引入了灵活的模型类别进行估计，并提供了关于平均治疗效应（ATE）的灵敏度分析，我们发现最优边界在某些情况下是紧的。该方法在模拟和实际数据示例上表现出准确的覆盖率。

Aug, 2018

可控文本生成的因果透视

本论文从因果的角度出发，提出了一种由结构性因果模型构建的可控文本生成框架，并将其应用于集中控制性文本生成领域的实践，实验表明该方法在控制准确性和减少偏差方面具有优势。

Jan, 2022

人类语言模型协作的因果推断

在本研究中，我们研究了人类和语言模型 (LMs) 之间的协同动力学，其中互动通常涉及 LM 提出文本段落而人类对这些提案进行编辑或回应。通过历史上人类和 LM 之间的相互作用，有效地与 LM 进行互动需要人类识别出适当的基于文本的互动策略，如编辑和回应风格。我们引入了一个新的因果估计标量 ——“增量风格效应 (Incremental Stylistic Effect, ISE)” 来回答由因果推理问题引起的困难，该问题是一个反事实的 “如果” 问题：如果人类采用不同的文本编辑 / 完善策略，协同的结果会如何改变？我们建立了非参数标识 ISE 的条件，并在此基础上开发了 CausalCollab 算法，用于估计动态人类 - LM 协作中各种互动策略的 ISE。在对三种不同的人类 - LM 协作场景进行的实证研究中，我们发现 CausalCollab 能够有效减少混淆，显著改善对照估计与竞争基线相比。

Mar, 2024

大型语言模型的动态属性图控制文本生成

控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

Feb, 2024

CausalDialogue：建模对话中话语级因果关系

以用户话语为原因，生成的响应为结果，研究利用因果关系加强训练神经会话模型的影响，并在详细评估后提出了一种能提高传统 loss 函数多样性和灵活性的新方法，该方法被称为指数最大平均处理效应（ExMATE），利用了 CausalDialogue 数据集。

Dec, 2022

多 CATE: 对未知协变量转变健壮的多准确条件平均处理效应估计

通过学习多准确性预测器，我们提出了一种方法，用于在部署时解决未知协变量转变，从而改善异质处理效应预测，并在因果推断和机器学习中取得了令人满意的结果。

May, 2024

视觉语言任务的因果关注

本文提出了一种新颖的注意力机制 Causal Attention (CATT)，用于消除现有基于注意力的视觉语言模型中一直存在的混淆效应，CATT 可替换任何注意力模块，可大幅提高各种流行的注意力模型的性能，尤其在大规模预训练中具有潜力。

Mar, 2021

基于文本因果推断中的治疗泄漏概念化

本文介绍了通过「文本蒸馏」预处理方法来控制文字信息偏差的研究，以及如何缓解治疗相关信号对研究结果的影响。

May, 2022

CATE meets ML -- 条件平均处理效应与机器学习

这篇论文主要讨论了利用机器学习和计量经济学方法来预测及估计治疗效果中的个性化处理效应，作者使用了 meta-learner，比如的 Doubly-Robust, R-, T - 和 X-learner，以及专门设计来估计 CATE 的工具如因果 BART 和广义随机森林，通过两个实证案例 - 小额信贷可利用性和 401 (k) 养老计划资格的影响与效果，发现所有观察值均具正面的治疗效应，但存在不同的效应异质性。

Apr, 2021