ChatGPT 中的性别偏见有多普遍?-- 探索德语和英语 ChatGPT 的回答
自动检测大型语言模型(如 ChatGPT 和 GPT-4)潜在性别偏见的研究,提出了一种自动生成测试用例的方法,并通过这些测试用例来减轻模型偏见,从而实现更公正的回复。
Oct, 2023
本研究基于六种语言的研究,检验 ChatGPT 在翻译中性代词方面的准确性,发现 ChatGPT 在将中性代词转换为 'he' 或'she' 时会透过职业或行为刻板印象体现性别偏见,在其他语言无法正确地把英文中性代词 'they' 翻译为相应中性代词,在性别无关信息缺失的情况下存在性别偏见,建议未来的 AI 翻译工具设计者以人为本。
May, 2023
这篇论文通过对社交媒体讨论进行内容分析,调查了不同文化背景下训练的大型语言模型(LLM),如 ChatGPT 和 Ernie,对性别偏见的公众看法。研究发现,ChatGPT 在隐性性别偏见方面更常见,例如将男性和女性与不同的职业头衔联系在一起,而 Ernie 的回应中则存在明显的性别偏见,比如过分强调女性追求婚姻而非事业。根据研究结果,我们反思了文化对性别偏见的影响,并提出了规范 LLM 性别偏见的治理建议。
Sep, 2023
GPT-3.5 Turbo 和 GPT-4 对非 “标准” 语言变体表现出语言偏见,导致理解能力减弱、刻板印象加剧,并存在辱人内容和居高临下的回应,这对非 “标准” 语言使用者产生了潜在的伤害。
Jun, 2024
ChatGPT(GPT-3.5)是一个大型语言模型,该研究调查了 ChatGPT 中的国籍偏见,通过分析自动生成的论述,发现其生成的文本表现出真实世界中的国籍偏见,强调了对大型语言模型中潜在偏见的进一步审查的必要性。
May, 2024
本研究调查人们如何认知 ChatGPT 这款聊天机器人,特别是它被赋予人类属性如性别的方式。通过五项预先注册的研究发现,人们更可能将 ChatGPT 看做男性而非女性,并且这种感知在不同连续性方面存在。此外,当突出强调 ChatGPT 的女性特征时,他们对 ChatGPT 的认知可能会从男性转变为女性。
May, 2023
本研究比较了一个生成式人工智能工具 ChatGPT 与三个商业可用的基于列表和机器学习的性别推断工具(Namsor、Gender-API 和 genderize.io)在一个独特数据集上的性能表现,结果显示 ChatGPT 在有国家和 / 或姓氏信息可用时,表现至少与 Namsor 相当,并在女性样本上表现更好。尽管 ChatGPT 并非为此目的设计,但它可能是一种性别预测的成本效益工具,未来甚至可能更好地识别自报性别而不是以二进制标度报告性别。
Nov, 2023
本文探讨大规模语言模型(如 ChatGPT)中固有偏见的挑战和风险,讨论其起源、伦理问题、缓解偏见的潜在机会、在虚拟助手、内容生成功能和聊天机器人中部署这些模型的意义以及如何鉴别、量化和缓解语言模型中的偏见,强调了需要跨学科的合作来开发更公正、透明和负责任的人工智能系统。
Apr, 2023
本章检查了机器翻译在持续性别偏见方面的作用,强调了跨语言环境和统计依赖性所带来的挑战。提供了与传统神经机器翻译方法和作为机器翻译系统的生成式预训练变压器模型相关的现有研究的全面概述。通过在英意翻译环境中使用 ChatGPT(基于 GPT-3.5)的实验,进一步评估了 ChatGPT 目前解决性别偏见的能力。研究结果强调了在机器翻译系统中减少偏见的发展的持续需求,并强调了在语言技术中培养公平和包容的重要性。
Jan, 2024
我们评估了 ChatGPT 中的毒性,并发现其毒性取决于提示的不同属性和设置,包括任务、领域、长度和语言,发现创意写作任务的提示可能比其他任务更容易引发有毒反应,德语和葡萄牙语的提示也会使反应的毒性加倍,此外,我们发现早期研究中设计的某些存心恶意的提示不再产生有害反应,希望我们的发现可以指引模型开发者更好地监管这些 AI 系统,并帮助用户避免不良输出。
Nov, 2023