本研究以性别为例，用度量方法描述了文本语料中的社会问题偏差。提出了语言模型的正则化损失项以减少性别偏差，最终在多个语料库中验证了该方法的有效性。

Apr, 2019

使用BERT模型和新颖的数据增强策略，利用共同的填充名称对候选名字进行匿名化处理，提高数据量的同时使模型更好地识别名称、缩短标记长度，并消除与名称相关的性别和地域偏见，有效提升了Gendered Pronoun Resolution挑战的性能。

May, 2019

本文在结构句法的监督下，通过将预训练BERT与关系图卷积网络(R-GCN)相结合，提出了一种端到端的关联分辨器，R-GCN的嵌入在指代任务上优于BERT的原始嵌入，从而将GAP数据集上的片段-上下文基线F1分数显著提高了13.4个百分点， 解决了现有的指代分辨器存在的性别偏差问题。

May, 2019

该论文研究了指代消解的一个子任务，代词消解，并描述了他们基于BERT的方法，该方法能够在性别平衡的情况下，达到92％的性能得分和更低的性别偏差。

Jun, 2019

本文中，我们提出了一种通过fine-tuned pre-trained BERT模型并使用抽取式问答形式的代替先前的基于coreference resolvers的代词消歧任务，从而克服这个性别偏见问题的解决方案，该模型可以在无需先验知识的情况下，在性别平衡的数据集上取得明显的结果 (F1值的绝对改善率达到22.2%)，还提出了通过ensemble模型结合多项选择和序列分类等方法进一步提高表现 (F1值的绝对改善率达到23.3%)，该模型已在第一届ACL会议关于自然语言处理的性别偏见共享任务中获得第九名的成绩。

Jun, 2019

本研究提出了一种基于跨语言枢轴技术的新颖方法，用于自动生成高质量的性别标签，并展示了这些数据可用于微调BERT分类器，该分类器对于西班牙语中丢失的女性代词具有92％的F1，相比之下，神经机器翻译模型和非微调BERT模型分别为30-51%和54-71％。我们使用来自我们分类器的标签来增强神经机器翻译模型以改进代词翻译，同时仍具有可并行化的翻译模型，可以逐句翻译。

Jun, 2020

本文以BERT为例，分析了上下游情感和情绪强度预测任务中的性别偏见，并提出了一种算法来去除嵌入向量中特定于性别的特征，以减少BERT诱发的偏见。

Sep, 2020

该论文提出了一种序列到序列的学习方法，探究了利用先进的自然语言处理（NLP）技术，特别是Bi-LSTM和BERT预训练语言模型，解决阿拉伯语代词消解问题的有效性。作者建议的方法在AnATAr数据集上进行了评估，并与包括传统机器学习模型和手工特征模型在内的数个基准模型进行了比较。实验结果表明，建议的模型在所有指标上都优于比较模型，包括KNN、逻辑回归和SVM。此外，作者还探究了多个对模型的修改对性能的影响，结果显示，这些修改显著提高了模型的性能，达到了81％的MRR和71％ 的F1得分，同时还表现出更高的精确度，召回率和准确性。该发现表明，作者建议的模型是解决阿拉伯语代词消解问题的有效方法，也展示了利用先进的NLP神经模型的潜在优势。

May, 2023

基于大型Transformer预训练语言模型（PLM）的研究已经改变了自然语言处理（NLP）领域，但这种性能提升伴随着复杂性的增加，以及模型规模的限制。本文通过对两个问题的实证研究探索了BERT和DistilBERT中性别偏见的神经机制和蒸馏过程对性别偏见的影响，发现无法确定特定的层次产生偏见，除少数特定情况外，每一个注意力头都均匀地编码偏见，而蒸馏模型则更均衡地产生偏见。

Jan, 2024

该研究提出了一种用于波斯语代词消解的端到端神经网络系统，利用预训练的Transformer模型如ParsBERT。我们的系统同时优化了提及检测和先行链路，相比前期依赖基于规则和统计方法的最新系统，在Mehr语料库上实现了3.37 F1分数的提高。这一显著改进展示了将神经网络与语言模型结合的有效性，可能标志着波斯语代词消解领域的显著进展，并为进一步的研究铺平了道路。

May, 2024