测量斯堪的纳维亚语言模型中的有害表达

EMNLPNov, 2022

测量斯堪的纳维亚语言模型中的有害表达

Measuring Harmful Representations in Scandinavian Language Models

Samia Touileb, Debora Nozza

TL;DR通过手动创建基于模板的句子和探索模型进行补全的方式，研究表明，覆盖丹麦语、瑞典语和挪威语的九种模型包含有害的、基于性别的刻板印象，在所有语言中具有类似的价值，这一发现违背了人们对于斯堪的纳维亚国家的性别平等的一般期望，同时表明在实际使用这些模型时可能存在问题。

Abstract

scandinavian countries are perceived as role-models when it comes to gender equality. With the advent of pre-trained language models and their widespread usage, we investigate to what extent gender-based harmful

scandinavian countries gender equality pre-trained language models harmful content toxic content

发现论文，激发创造

西斯拉夫语言模型中性别偏见的测量

本研究旨在分析西斯拉夫语言模型中的性别偏见，通过评估单语和多语言模型的性别偏见情况以及生成词的有害程度和性别特征，发现针对男性的西斯拉夫语言模型生成的词较为有害，且与暴力，死亡和疾病有关系。

Apr, 2023

語言模型在有害言論檢測中表現出性別流？言論偏見

对社交媒体平台上的内容审查进行分析，研究其对性别多元化言语模式的偏见，并提出五个现成的语言模型在评估这些文本的伤害程度时的性能评估。

May, 2024

生成语言模型的非歧视标准

研究如何发现和量化生成语言模型中的性别偏见，并设计了针对职业性别刻板印象的标准，通过职业性别刻板印象的测试结果论证了这些标准在生成人工智能模型中的存在。

Mar, 2024

研究土耳其语言模型中的性别偏见

该研究探讨土耳其语言模型中的性别偏见及民族偏见，并基于实验证据分析模型特性对偏见的影响，同时公开土耳其性别偏见数据集。

Apr, 2024

评估大型语言模型中的性别和种族刻板印象

通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

Nov, 2023

大型语言模型中的受保护群体偏见与刻板印象

在伦理和公平的领域中，现代大型语言模型 (Large Language Models，LLMs) 在破解很多最先进的基准测试中表现出色，该研究主要探讨 LLMs 在受保护群体偏见方面的行为，发现 LLMs 存在对性别、性取向和西方文化的偏见，并且模型不仅反映了社会偏见，而且似乎放大了这些偏见。尽管该模型对涉及受保护群体的问题过于谨慎，强调多样性和公平，但这种人工限制潜在有害输出的做法本身可能会造成伤害，应该谨慎和有控制地应用。

Mar, 2024

ScandEval: 用于北欧自然语言处理的基准测试

本文介绍了一个名为 ScandEval 的斯堪的纳维亚基准平台，该平台可对四个不同任务的任何预训练模型进行基准测试。我们开发并发布了一个名为 scandeval 的 Python 软件包和命令行界面，可以对上传到 Hugging Face Hub 的任何模型进行基准测试，并提供可重复的结果。通过使用 ScandEval 软件包，我们对 100 多个斯堪的纳维亚或多语言模型进行基准测试，并在交互式在线排行榜中展示了这些结果，同时提供了结果分析。分析结果表明，在大陆斯堪的纳维亚语言之间存在很大的跨语言转移，而大陆斯堪的纳维亚语言组和岛屿斯堪的纳维亚语言组之间的跨语言转移有限。基准测试结果还表明，挪威、瑞典和丹麦的语言技术投资取得了优秀的成果，其语言模型性能超过了像 XLM-RoBERTa 和 mDeBERTaV3 之类的巨型多语言模型。我们同时发布了软件包和排行榜的源代码。

Apr, 2023

自然语言生成中的女性贬低度量：对两个 Reddit 社区的案例研究的初步结果

测量自然语言生成中的厌恶问题，并认为通用的 ' 有害性 ' 分类器对此任务不足够。使用 reddit 上的两个 'Incel' 社区的数据来构建训练语料库，我们通过精调两个语言模型表明，某个开源的 ' 有害性 ' 分类器无法区分这些模型的生成结果，而最近由女权主义领域专家提出的具有厌恶特定词汇索引的方法可以作为对厌恶评估的基准，可以揭示这些 Reddit 社区之间已知的差异。我们的初步研究结果凸显了评估伤害的通用方法的局限性，并进一步强调在自然语言评估中需要仔细选择和设计基准。

Dec, 2023

大型语言模型评估：STEM 教育与性别刻板印象

通过开放式、用户真实案例实验设计和定量分析，本文调查了 LLMs 中的性别偏见与教育选择之间的关系，在四种不同的文化、语言和教育系统（英语 / 美国 / 英国，丹麦 / 丹麦，加泰罗尼亚 / 西班牙，印地语 / 印度）的背景下调查了性别偏见，研究发现在使用典型的男孩名字和女孩名字提示建议职业时，chatGPT 提供的建议教育路径中的 STEM 和非 STEM 的比例存在显著而大的差异，丹麦、西班牙和印度背景下的 STEM 建议较少，同时发现职业建议中的细微差异。

Jun, 2024

语言生成模型可能会造成伤害：那我们能做些什么？一份可执行的调查

本文对语言生成模型潜在威胁与社会危害进行了调查研究，提供了探查与缓解风险和伤害的实用方法，旨在为大型语言模型研究人员和从业者提供实用指南。

Oct, 2022