优秀但不足的:大型语言模型中的国籍偏见 - ChatGPT 的案例研究
这篇论文分析了语言模型中的国籍偏见,探讨了 GPT-2 生成的故事中如何突出现有的有关国籍的社会偏见,并使用敏感性分析探讨了互联网用户数量和国家经济状况对故事情绪的影响。同时还研究了对抗触发的去偏置方法,研究结果表明,GPT-2 在对互联网用户较少的国家存在显著的偏见,而对抗触发方法可以有效地降低偏见。
Feb, 2023
ChatGPT 的研究探索大型语言模型在媒体偏见检测方面的效力,结果显示 ChatGPT 在检测仇恨言论和文本级别上的情境偏见方面与精细调校的模型表现相当,但在其他偏见检测方面(包括虚假新闻、种族、性别和认知偏见)遇到困难。
Mar, 2024
对 ChatGPT 进行了心理特征和文化价值的测量,发现其与真实人类存在差异,表现出文化偏见和刻板印象。未来的研究应加强技术监督和算法训练的透明性,促进跨文化交流和减少社会差异。
May, 2024
借助创新方法,本研究调查了 GPT 多语言模型中的政治偏见。通过向 GPT 提出关于美国和中国高级政治问题的相同问题,我们分析了双语回答,发现 GPT 的简体中文模型在中国的政治问题上的 “知识”(内容)和 “态度”(情感)存在显著的不一致性。简体中文 GPT 模型不仅倾向于提供亲中信息,而且对中国问题的消极情感最少,而英文 GPT 则对中国表现出了更高的消极情感。这种差异可能源于中国的官方审查和中美地缘政治紧张关系,这两个因素影响了 GPT 双语模型的训练语料库。此外,中英文模型在处理表达语言所代表的问题时,相对于 “他们” 的问题,对 “自己” 的问题更不批判。这表明 GPT 多语言模型可能会根据其训练语言形成 “政治身份” 和相关的情感偏见。本研究讨论了我们发现对于信息传播和交流在一个日益分裂的世界中的影响。
Dec, 2023
本文探讨大规模语言模型(如 ChatGPT)中固有偏见的挑战和风险,讨论其起源、伦理问题、缓解偏见的潜在机会、在虚拟助手、内容生成功能和聊天机器人中部署这些模型的意义以及如何鉴别、量化和缓解语言模型中的偏见,强调了需要跨学科的合作来开发更公正、透明和负责任的人工智能系统。
Apr, 2023
通过比较 ChatGPT 和主流神经机器翻译(NMT)引擎将中文外交文本翻译成英文,本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明,在不同的提示下,自动化度量对 ChatGPT 产生了类似的结果,而当提供翻译任务的示例或上下文信息时,人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著,这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。
Jan, 2024
通过对 OpenAI 的语言模型 ChatGPT 进行测试,本文发现 ChatGPT 在政治观点上存在一定的偏见,主要偏向进步观点。此外,作者还测试了 ChatGPT 的个性特征和恶意程度。
Apr, 2023
这篇论文通过对社交媒体讨论进行内容分析,调查了不同文化背景下训练的大型语言模型(LLM),如 ChatGPT 和 Ernie,对性别偏见的公众看法。研究发现,ChatGPT 在隐性性别偏见方面更常见,例如将男性和女性与不同的职业头衔联系在一起,而 Ernie 的回应中则存在明显的性别偏见,比如过分强调女性追求婚姻而非事业。根据研究结果,我们反思了文化对性别偏见的影响,并提出了规范 LLM 性别偏见的治理建议。
Sep, 2023
当 ChatGPT 具有特定的社会身份时,它能够区分内外群体,拥抱内群体价值观而回避外群体价值观,表现出对外群体的负面态度,该研究在多种语言环境以及在政治领域得到了复制和确认,并提供了减轻此类偏见的关键见解。
Feb, 2024