评估语音翻译中的性别偏差
本研究利用两个共指解析数据集,通过 8 种有语法性别的目标语言中的形态分析,第一次提出了机器翻译中性别偏见的挑战集和评估协议,并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。
Jun, 2019
通过使用 WinoMT 自动测试套件,我们对 19 个系统进行了研究,发现性别偏见在机器翻译中很常见,系统通常使用数据中的假性别关联而非有意义的上下文信息。
Oct, 2020
研究了语音翻译中存在的性别偏见问题,并基于英意 / 英法语言方向比较了级联与端到端技术,着重于探究如何利用音频信息来解决自然语言中的性别偏见问题。
Jun, 2020
神经机器翻译(NMT)模型是机器翻译的先进技术,但这些模型被发现存在各种社会偏见,尤其是性别偏见。本文以印地语作为源语言,构建了两组性别特定的句子集(OTSC-Hindi 和 WinoMT-Hindi),用于自动评估不同的印地 - 英文(HI-EN)NMT 系统是否存在性别偏见。本研究强调了设计此类外在偏见评估数据集时考虑语言特性的重要性。
Nov, 2023
本研究评估了 Google Translate、DeepL 和 Modern MT 这三种在线翻译系统在性别翻译和偏见方面的表现,并发现这些系统在性别翻译方面存在不同程度的偏见。
Jun, 2023
这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战,并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准,同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。
Jul, 2023
通过对自然、性别敏感的 MuST-SHE 语料库进行 POS 和一致性链的语言学注释,在英法 / 意大利语 / 西班牙语三种语言方向上针对不同数量的数据和不同的词语分割技术进行多方面评估,揭示了性别偏见的模型行为,及其在多个细粒度层次上的检测价值。
Mar, 2022
神经机器翻译中存在性别偏见,而评估基准主要关注英语作为源语言的翻译,我们提出了为源语言中的语法性别标记量身定制偏见评估测试集的方法,以确定 NMT 模型是否能通过语法性别线索来区分性别。
Nov, 2023
本研究探讨无需转录的直接语音翻译模型在性别翻译方面的性别偏见及其潜在危害,并比较不同方法通知模型说话人性别信息的效果,结果表明性别感知模型相比于无性别感知模型在性别标记词的翻译准确率上可提高 30 个百分点,同时保证总体翻译质量。
Dec, 2020