Dec, 2020

多语言神经机器翻译中的性别偏见：架构的重要性

PDF
TL;DR通过四个语言对的实验结果，发现与共享编码器 - 解码器架构相比，语言特定的编码器 - 解码器架构表现出较少的性别偏差，并且源嵌入和注意力的可解释性分析表明，在语言特定的情况下，嵌入编码了更多的性别信息，注意力也更加分散，这两种行为有助于减轻性别偏差。
multilingualneural machine translationgender biaslanguage-specificshared encoder-decoder
发现论文，激发创造
  • 多语言嵌入和跨语言转移中的性别偏见

    本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

    May, 2020

  • 机器翻译中的性别偏见与大型语言模型时代

    本章检查了机器翻译在持续性别偏见方面的作用，强调了跨语言环境和统计依赖性所带来的挑战。提供了与传统神经机器翻译方法和作为机器翻译系统的生成式预训练变压器模型相关的现有研究的全面概述。通过在英意翻译环境中使用 ChatGPT（基于 GPT-3.5）的实验，进一步评估了 ChatGPT 目前解决性别偏见的能力。研究结果强调了在机器翻译系统中减少偏见的发展的持续需求，并强调了在语言技术中培养公平和包容的重要性。

    Jan, 2024

  • 目标无关的性别感知对比学习在多语言机器翻译中缓解偏见

    针对多语言机器翻译模型中明显的性别偏见问题，提出了一种新的缓解方法，Gender-Aware Contrastive Learning，通过伪标签在编码器嵌入中编码性别信息来提高性别准确度并改善其他目标语言的性别准确度。

    May, 2023

  • 利用词嵌入技术消除神经机器翻译中的性别偏差

    本文提出使用词向量以减少神经机器翻译中性别偏见的方法并应用于 Transformer 翻译结构中，通过评估在 WMT 英西标准测试上的结果，展示出一定的性能提高和在职业测试集上消除基线系统已存在的偏见。

    Jan, 2019

  • 大型语言模型中的性别偏见

    我们研究了不同语言中大型语言模型生成的输出中的性别偏见，通过三项测量方法评估性别相关背景下选择描述性词语的性别偏见、选择性别相关代词（她 / 他）的性别偏见以及生成对话的主题的性别偏见。我们的研究表明，在我们调查的所有语言中都存在显著的性别偏见。

    Mar, 2024

  • 评估印地语 - 英语机器翻译中的性别偏见

    本研究旨在评估和量化印地 - 英语机器翻译系统中的性别偏见，并实现了一种基于语法考虑的修改版本的现有 TGBI 度量标准，同时比较了预先训练的嵌入和我们的机器翻译模型所学习的嵌入的多个指标上产生的偏差测量结果。

    Jun, 2021

  • 不同语言中的典型偏见有多大差异？

    通过系统地分析使用不同语言、单语和多语模型、不同架构的偏向性，扩展了评估预训练英语语言模型中的刻板偏见的研究范围，发现在多语言环境下分析是非常重要的，并且公布了代码库以及翻译数据集的实用指南以鼓励将我们的工作进一步扩展到其他语言。

    Jul, 2023

  • 神经机器翻译中速度 - 质量优化过程中的性别偏见放大

    研究了使用 BLEU 评估通用测试集时，是否在优化速度和评估机器翻译模型时放大了偏差？发现速度优化对 BLEU 几乎没有影响，但发现性别名词翻译表现的下降速度更快。

    Jun, 2021

  • 探讨语言模型架构的扩展与迁移在机器翻译中的应用

    该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器 - 解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平，并且在零翻译方向上表现得更好。

    Feb, 2022

  • 别忽视语法性别：针对印度 - 英语机器翻译的偏见评估

    神经机器翻译中存在性别偏见，而评估基准主要关注英语作为源语言的翻译，我们提出了为源语言中的语法性别标记量身定制偏见评估测试集的方法，以确定 NMT 模型是否能通过语法性别线索来区分性别。

    Nov, 2023