用精准的投影方法消除受保护属性：直戳要害

EMNLPDec, 2022

用精准的投影方法消除受保护属性：直戳要害

Better Hit the Nail on the Head than Beat around the Bush: Removing Protected Attributes with a Single Projection

Pantea Haghighatkhah, Antske Fokkens, Pia Sommerauer, Bettina Speckmann, Kevin Verbeek

TL;DR提出了两种方法，即平均投影和图基中位数投影，以消除嵌入空间中的特定信息，与 INLP 进行比较，表明一个 MP 投影可以消除基于目标的线性可分性，并且对总体空间的影响更小，因此单个有针对性的投影（MP）比多个（INLP）投影更为规范。

Abstract

bias elimination and recent probing studies attempt to remove specific information from embedding spaces. Here it is important to remove as much of the target information as possible, while preserving any other i

bias elimination embedding spaces nullspace projections mean projection tukey median projection

发现论文，激发创造

通过迭代零空间投影来保护受保护属性

我们提出了一种名为迭代零空间投影 (INLP) 的新方法，它基于线性分类器的训练，通过在空间中进行映射，以消除神经表示中的特定属性，并减少了词嵌入中的偏见，提高了多类分类的公平性。

Apr, 2020

受盾形表示：通过迭代梯度投影保护敏感属性

本文通过引入一种新的方法 IGBP，提出了一种在自然语言处理模型中去除非线性编码概念的方案，实验结果表明，该方法可以有效缓解社会偏见，并对下游任务的准确性没有太大的影响。

May, 2023

TaCo：基于信息论和可解释性的自然语言处理中的目标概念删除

通过嵌入变换消除 NLP 模型中的隐性信息以减少性别相关联系，同时保留模型的整体性能和功能。

Dec, 2023

通过投影消除偏差的主要公平性

在算法数据分析中，通过随机投影到 “公平” 子空间来减少数据中的偏差，我们将这种方法应用于最密子图问题，理论上和实验上都可以恢复一个几乎最优、公平、稠密的子图，并通过匹配逼近上界展示该问题的 NP - 难度特性。

May, 2019

跨语言嵌入对齐的内积投影过滤

本文提出了一种方法 -“过滤内积投影（FIPP）”，用于在双语字典诱导的上下文中将嵌入映射到共同的表示空间，并评估了 FIPP 的性能。不同于之前的方法，FIPP 在两个嵌入中识别共同的几何结构，然后仅在该几何结构上对这些嵌入的格拉姆矩阵进行对齐，且具有易于实现和可伸缩的计算优势。在各种语言对的 MUSE 数据集上，FIPP 的结果优于现有方法。

Jun, 2020

神经表示中未对齐属性的擦除

本文介绍了 AMSAL 算法和它在多个数据集上的测试，其中包括一个 Twitter 数据集和带有各种类型的保护属性的 BiasBench 基准测试。该算法旨在在信息需要被删除，但不是直接与输入示例对齐的情况下，从神经表示中删除信息。

Feb, 2023

基于投影的概念去除方法对数据集的影响

通过线性投影方法探究将一个概念从语言表达中移除后的数据集的行为，表明这些方法会在转换后的数据集中注入强大的统计依赖性，并导致转换空间高度结构化，可能通过反聚类方法重构原始标签。

Mar, 2024

通过插值正交特征进行样本高效的域适应

本文提出了一种名为 Pro$^2$ 的轻量、样本高效的方法，通过将预训练嵌入映射到正交方向来学习多样的预测特征，并在小目标数据集上适应目标分布。在多个数据集上的试验表明，与标准线性探测等先前方法相比，Pro$^2$ 提高了 5-15% 的性能。

Feb, 2023

通过投影阻碍分类

研究了一种减少数据偏差的方法，使用几何问题对学习到的表示进行建模，在低维空间中通过简单的投影即可消除数据的线性可分性，同时保持其他性质的线性可分性；同时，文中还探讨了更复杂的分离性质和分类障碍与其 Helly 属性的关系。

May, 2021

黄金未必总是发光的：线性和非线性受保护属性信息的光谱去除

该研究介绍了一种简单有效的方法，称为 SAL，它使用矩阵分解将输入向量投影到与守卫信息减少协方差的方向上，从而达到去除神经表示中的私密信息的目的。这种方法也适用于非线性信息去除，且其实验结果表明该算法将主要任务性能与去除守卫信息后的性能相比较，更优秀，同时只需要使用相对较少量的守卫信息即可，更适用于低资源的情境。

Mar, 2022