众包数据集中的代词错误
本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案,并构建了一组既不带有偏见性别也不过度偏向一侧的词组,然后通过该方案评估了传统机器翻译系统的性别偏见。
May, 2019
本文针对以往自然语言处理领域所忽略的 neopronouns 等全新形式三人称代词使用方式及其对包容性的影响展开探究,特别关注了机器翻译对于被边缘化团体如非二进制人群等的歧视问题。发现中性代词经常导致语法和语义翻译错误,因此提供了针对这些问题的未来研究建议。
May, 2023
本研究提出了一种基于跨语言枢轴技术的新颖方法,用于自动生成高质量的性别标签,并展示了这些数据可用于微调 BERT 分类器,该分类器对于西班牙语中丢失的女性代词具有 92%的 F1,相比之下,神经机器翻译模型和非微调 BERT 模型分别为 30-51% 和 54-71%。我们使用来自我们分类器的标签来增强神经机器翻译模型以改进代词翻译,同时仍具有可并行化的翻译模型,可以逐句翻译。
Jun, 2020
本文研究了机器偏见和性别偏见,使用性别中性语言对 Google 翻译进行了实验,结果显示翻译的默认性别更偏向于男性,特别是在 STEM 领域中,这种偏见程度远超实际分布,因此需要对当前的统计翻译工具进行偏误纠正。
Sep, 2018
探讨了细调指令模型在机器翻译中存在性别偏见的问题,并提出了基于少样本学习的易于实施且有效的偏见缓解解决方案,以实现更公平的翻译。
Oct, 2023
本文介绍了 2016 年 WMT 跨语言代词预测共享任务的设计、评估设置和结果,该任务是一个分类任务,参与者需要对目标语言文本中的占位符值提供替换代词类别标签的预测。提供了四个子任务,英法、英德之间互译,11 个团队参与该任务。深度循环神经网络表现出色,大多数提交结果超过了两个强语言模型基线系统的表现。
Nov, 2019
本文探讨了语言技术中的性别偏见问题,提出了一个 MISGENDERED 框架来评估语言模型的性别中性人称的正确使用,发现基于二元性别训练的语言模型在使用非二元人称时普遍存在误差和算法偏差。
Jun, 2023
通过反向翻译方法研究大型语言模型中的内隐性别偏见,比较不同语言的结果,提出一种新的评估性别隐含变化的度量标准,并探究驱动偏见的句子特征,结果表明该方法能够进一步揭示语言模型中的偏见。
Mar, 2024
本文探讨了 NLP 在第三人称代词领域的问题及其对边缘化群体的歧视和影响,提出了对代词建模的伦理准则,并基于此评估了现有和新颖的建模方法,量化了更不具歧视性的方法对基准数据的影响。
Feb, 2022
这篇研究综述了神经革命之后对于零代词翻译的研究进展,提供了基于演化、数据集、方法和评估的文献组织。另外,该文比较并分析了不同基准测试上的竞争模型和评估指标,找到了一些有见地的发现,例如大语言模型的发展趋势与零代词翻译相一致,而数据限制会造成学习的偏差,而先进的方法离实际应用仍有很大差距等。
May, 2023