语义嵌入也存在偏差 -- 评估静态和上下文化语义嵌入中的社会偏见

ACLMar, 2022

语义嵌入也存在偏差 -- 评估静态和上下文化语义嵌入中的社会偏见

Sense Embeddings are also Biased--Evaluating Social Biases in Static and Contextualised Sense Embeddings

Yi Zhou, Masahiro Kaneko, Danushka Bollegala

TL;DR本文提出一种评估感觉嵌入社会偏见的基准数据集和新的感知特定偏见评估指标，并对多个静态和上下文感知嵌入进行广泛评估，发现即使在单词级别没有发现偏见的情况下，仍存在令人担忧的感知级别的社会偏见，这通常被单词级别偏见评估措施所忽略。

Abstract

sense embedding learning methods learn different embeddings for the different senses of an ambiguous word. One sense of an ambiguous word might be socially biased while its other senses remain unbiased. In comparison to the numerous prior work evaluating the →

sense embedding learning social biases sense-specific bias evaluation measures static and contextualised sense embeddings word-level bias evaluation measures

发现论文，激发创造

上下文中的迷失？关于上下文化词向量的意义差异

揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

Aug, 2022

关于测量和减轻词嵌入偏见推断的研究

通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

Aug, 2019

使用上下文化单词嵌入作为代理学习具有特定意义的静态嵌入

本文介绍了一种名为 Context Derived Embeddings of Senses (CDES) 的方法，它从上下文嵌入中提取感官相关信息，并将其注入到静态嵌入中，以创建特定于感官的静态嵌入。实验结果表明，CDES 能够准确地学习感官特定的静态嵌入，具有与当前最先进的感官嵌入相当的性能。

Oct, 2021

跨语境多义词上下文词嵌入映射

本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

Sep, 2019

上下文诱导的词嵌入编码人类词义知识的方面

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020

评估上下文词嵌入中的潜在性别偏见

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

词嵌入何时能准确反映我们对人们的信念调查结果？

本文研究了公开可得的单词嵌入在某些社会层面上的偏见反映了实际调查数据，但并非所有维度的数据都能得到反映，只有最显著的偏见维度，例如性别方面，才能得到准确的反映。

Apr, 2020

上下文词嵌入的逐步语义权重训练

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

衡量句子编码器中的社会偏见

本研究在 Word Embedding Association Test 的基础上，对句子编码进行了偏差测量，实验包括了包括 ELMo 和 BERT 在内的多种方法，并提议了未来的研究方向。

Mar, 2019

联合学习元感嵌入：从预训练静态感觉嵌入中学习

本文提出了第一种元语义嵌入方法 - 近邻保留元语义嵌入，该方法通过组合多个独立训练的源感知嵌入来学习元感知嵌入，从而保留了源嵌入中计算的感知邻域，实验证明该方法在词义消歧和上下文词任务中持续优于竞争基线。

May, 2023