大型语言模型中的下游性别偏见揭示:AI 教育写作辅助研究
该研究探讨了大型语言模型中的性别偏见问题,特别关注 GPT-2 和 GPT-3.5 等多个语言模型之间的比较,通过对生成的文本进行全面的文献综述和定量分析,发现了性别化词汇关联、语言使用和偏见叙述的问题,并提出了减少性别偏见的算法和数据增强技术。该研究强调了学科间合作的重要性和社会学研究在减少 AI 模型性别偏见中的作用。
Jul, 2023
我们研究了不同语言中大型语言模型生成的输出中的性别偏见,通过三项测量方法评估性别相关背景下选择描述性词语的性别偏见、选择性别相关代词(她 / 他)的性别偏见以及生成对话的主题的性别偏见。我们的研究表明,在我们调查的所有语言中都存在显著的性别偏见。
Mar, 2024
通过开放式、用户真实案例实验设计和定量分析,本文调查了 LLMs 中的性别偏见与教育选择之间的关系,在四种不同的文化、语言和教育系统(英语 / 美国 / 英国,丹麦 / 丹麦,加泰罗尼亚 / 西班牙,印地语 / 印度)的背景下调查了性别偏见,研究发现在使用典型的男孩名字和女孩名字提示建议职业时,chatGPT 提供的建议教育路径中的 STEM 和非 STEM 的比例存在显著而大的差异,丹麦、西班牙和印度背景下的 STEM 建议较少,同时发现职业建议中的细微差异。
Jun, 2024
评估三种主要的大型语言模型(Claude 3 Opus、Mistral AI Large 和 Gemini 1.5 Flash)在科学摘要文本生成任务中的表现,发现尽管这些模型的生成文本通常与人类创作的内容非常相似,但在风格上存在显著的性别偏见,这研究强调了开发能够维持多样写作风格以促进学术交流包容性的重要性。
Jun, 2024
通过对四个最近发表的大型语言模型进行测试,我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见,它们更倾向于选择与性别刻板印象相关的职业,并且在提供自己选择的解释时常常存在事实错误,对于这些模型的偏见行为,我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。
Aug, 2023
大型语言模型(LLMs)中存在的性别偏见令人担忧,但提出了一种无需访问模型参数的新方法,即通过手动设计的文本前言和职业描述句来有效抑制性别偏见,并且对下游任务性能影响最小。
Sep, 2023
自动检测大型语言模型(如 ChatGPT 和 GPT-4)潜在性别偏见的研究,提出了一种自动生成测试用例的方法,并通过这些测试用例来减轻模型偏见,从而实现更公正的回复。
Oct, 2023
本文基于德文语料库的数据集,在多个体系结构中通过词嵌入联想测试(WEAT)分析了预先训练的德语语言模型的偏见,发现这些语言模型存在实质性的概念、种族和性别偏见,并且在同伴评审数据的微调中,偏见在概念和种族轴上有显着变化。
Sep, 2022
这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT(OpenAI)和 Bard(Google)来探讨了大型语言模型的文化自我认知,结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要,因为我们不希望人工智能的黑盒子延续偏见,使人类在无意中创造和训练更加带有偏见的算法。
Dec, 2023
通过分析工作推荐,揭示大型语言模型中的人口统计偏见。研究发现 LLMs 存在与不同人口统计身份相关的偏见,如 Mexican workers 普遍倾向于低薪工作,女性倾向于秘书角色。这突出了在后续应用中量化 LLMs 偏见的重要性,以了解可能造成的伤害和不公平结果。
Aug, 2023