ChatGPT 在机器翻译中存在性别偏见，忽略了非性别代词：以孟加拉语和其他五种低资源语言为例发现

AAAIMay, 2023

ChatGPT 在机器翻译中存在性别偏见，忽略了非性别代词：以孟加拉语和其他五种低资源语言为例发现

ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages

PDF

Sourojit Ghosh, Aylin Caliskan

TL;DR本研究基于六种语言的研究，检验 ChatGPT 在翻译中性代词方面的准确性，发现 ChatGPT 在将中性代词转换为 'he' 或'she' 时会透过职业或行为刻板印象体现性别偏见，在其他语言无法正确地把英文中性代词 'they' 翻译为相应中性代词，在性别无关信息缺失的情况下存在性别偏见，建议未来的 AI 翻译工具设计者以人为本。

Abstract

In this multicultural age, language translation is one of the most performed tasks, and it is becoming increasingly AI-moderated and automated. As a novel AI system, chatgpt claims to be proficient in such translation tasks and in this paper, we put that claim to the test. Specifically

chatgpt ai translation gender-neutral pronouns language bias multiculturalism

发现论文，激发创造

评估机器翻译中的性别偏见 -- 以 Google 翻译为例

本文研究了机器偏见和性别偏见，使用性别中性语言对 Google 翻译进行了实验，结果显示翻译的默认性别更偏向于男性，特别是在 STEM 领域中，这种偏见程度远超实际分布，因此需要对当前的统计翻译工具进行偏误纠正。

Sep, 2018

ChatGPT 中的性别偏见有多普遍？-- 探索德语和英语 ChatGPT 的回答

分析 ChatGPT 对有性别偏见和提示分析的系统回应，检查其可用性和限制。

Sep, 2023

机器翻译中的性别偏见与大型语言模型时代

本章检查了机器翻译在持续性别偏见方面的作用，强调了跨语言环境和统计依赖性所带来的挑战。提供了与传统神经机器翻译方法和作为机器翻译系统的生成式预训练变压器模型相关的现有研究的全面概述。通过在英意翻译环境中使用 ChatGPT（基于 GPT-3.5）的实验，进一步评估了 ChatGPT 目前解决性别偏见的能力。研究结果强调了在机器翻译系统中减少偏见的发展的持续需求，并强调了在语言技术中培养公平和包容的重要性。

Jan, 2024

性别推断：ChatGPT 能否胜过常见商业工具？

本研究比较了一个生成式人工智能工具 ChatGPT 与三个商业可用的基于列表和机器学习的性别推断工具（Namsor、Gender-API 和 genderize.io）在一个独特数据集上的性能表现，结果显示 ChatGPT 在有国家和 / 或姓氏信息可用时，表现至少与 Namsor 相当，并在女性样本上表现更好。尽管 ChatGPT 并非为此目的设计，但它可能是一种性别预测的成本效益工具，未来甚至可能更好地识别自报性别而不是以二进制标度报告性别。

Nov, 2023

ChatGPT 更容易被认为是男性而不是女性

本研究调查人们如何认知 ChatGPT 这款聊天机器人，特别是它被赋予人类属性如性别的方式。通过五项预先注册的研究发现，人们更可能将 ChatGPT 看做男性而非女性，并且这种感知在不同连续性方面存在。此外，当突出强调 ChatGPT 的女性特征时，他们对 ChatGPT 的认知可能会从男性转变为女性。

May, 2023

发挥 ChatGPT 在翻译中的威力：一项实证研究

本文探究了如何用 ChatGPT 辅助机器翻译，提出了多种翻译提示。实验结果表明，ChatGPT 在高资源语言翻译方面的表现与专业翻译系统相当或更好，在低资源翻译方面略逊于专业翻译系统，并在多参考文献翻译和特定领域翻译方面表现出优异的性能。此外，我们进行了几个快速提示，表现出不同基础提示的一致改进。这项工作提供了 ChatGPT 在翻译方面仍然具有巨大潜力的实证证据。

Apr, 2023

评测性别中性代词的翻译性别偏见

本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案，并构建了一组既不带有偏见性别也不过度偏向一侧的词组，然后通过该方案评估了传统机器翻译系统的性别偏见。

May, 2019

对自动性别中性翻译需求的迅速响应

通过与 GPT-4 模型比较，我们通过广泛的手动分析实证揭示了当前机器翻译系统在生成性别中立翻译时的固有限制，并为提示中立性所涉及的潜力和挑战提供了有价值的见解。

Feb, 2024

ChatGPT 在语言使用上是否与人类相似？

通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

Mar, 2023

ChatGPT 是否能与神经机器翻译匹敌？一项比较研究

通过比较 ChatGPT 和主流神经机器翻译（NMT）引擎将中文外交文本翻译成英文，本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明，在不同的提示下，自动化度量对 ChatGPT 产生了类似的结果，而当提供翻译任务的示例或上下文信息时，人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著，这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。

Jan, 2024