Jul, 2023

使用社区参与建立社会文化包容的刻板印象资源

PDF
TL;DR通过扩展印度社会背景下的评估资源，本研究对生成语言模型的评估进行了社会文化意识的拓展，特别关注了刻板印象的有害性，并通过建立包含印度特有身份不平等轴上刻板印象的资源，增加了对印度背景下刻板印象的了解。
generative language modelsmeasurements of harmlocal cultural contextsevaluation paradigmsstereotyping
发现论文，激发创造
  • SeeGULL 多语言：一个地理文化背景下定位的刻板印象数据集

    使用 LLM 生成多种语言模型的方法，结合文化验证，建立全球规模的多语言社会刻板印象数据集，包含超过 20 种语言中的 25,000 个刻板印象，并且通过人工注释来显示其在模型评估中的差距。

    Mar, 2024

  • 超越表面：文本到图像生成中的全球尺度视觉刻板分析

    通过使用现有的文字资源来评估 T2I 模型生成的图像中的地缘文化刻板印象，我们的研究表明在与其他属性相比，特定身份群体的图像中刻板印象出现的可能性是其他属性的三倍，并揭示出所有身份群体的默认代表都具有刻板印象的外观。

    Jan, 2024

  • 种姓主义但非种族主义？量化印度与西方大型语言模型偏见的差异

    对大型语言模型的研究发现，它们往往存在社会偏见，尤其在印度和西方语境下，而引入一种称为 Instruction Prompting 的简单干预方法能够显著减少这种偏见。

    Sep, 2023

  • 全球之音、地方偏见：跨语言的社会文化偏见

    这项研究通过对 24 种语言进行 Word Embedding Association Test (WEAT) 的扩展，以更广阔的研究视角揭示了语言模型的偏见，并通过在全球范围内捕捉有关每种语言的文化相关信息，进一步提高了数据的质量。文章还展示了对毒性、庸能主义等方面的新偏见维度的研究，并通过对印度六种常用语言进行了全面的地区偏见分析，最后通过对嵌入方法的广泛比较强调了这些社会偏见和新维度的重要性，同时强调了解决这些问题对建立更公平的语言模型的必要性。

    Oct, 2023

  • 理解和应对刻板印象：基于计算方法的刻板印象内容模型研究

    通过计算 SCM 模型方法的实施，本文针对文本中的刻板印象进行解释和应用，同时研究了通过反刻板印象来减少偏见思维的有效策略。

    Jun, 2021

  • 语言模型中对陈规的理解：朝着鲁棒度量和零 - shot 去偏见的方向

    本文研究了预训练语言模型的生成文本中存在的人类偏见和其对不同人口群体的影响，针对现有的评估技术和基准的准确性问题，提出了新的评估框架以更稳健地测量和量化语言模型所表现出的偏见。并使用该框架调查了 GPT-3 的职业性别偏见，并提出了一些缓解这些偏见的提示技术。

    Dec, 2022

  • 测量机器学习偏见造成的伤害：需要了解哪种错误以什么方式伤害了谁

    通过社会心理学的视角，以性别刻板印象在图像搜索中的案例研究为例，本文研究了机器学习误差对人们心理体验的影响，发现刻板印象加强型误差会引起更多主观上的伤害体验，而对认知信念、态度或行为的影响较小，这种伤害对女性的影响较大。然而，某些违背刻板印象的误差对男性而言会造成更多主观伤害，可能是因为被认为威胁到男性气概。因此，本文得出结论，公平度量不能仅以伤害为唯一指南，应根据不同受伤者的感受和原因，提出更细致的观点。

    Feb, 2024

  • 针对印度语言表示的社交意识偏差测量

    本篇论文探讨了语言表示法中出现的灌输的社会偏见，特别是针对印地语语言表示法中种姓和宗教相关的偏见。该研究展示了如何根据地区的历史和文化，将有着独特偏见的语言表示法区分开来，同时强调了当我们建模语言表示法时，必须关注文化和语言学因素以更好地理解文化偏见。

    Oct, 2021

  • 基于理论的测量 —— 英语语言模型中美国社会刻板印象

    本研究使用社会心理学的 Agency-Belief-Communion (ABC) 刻板印象模型来系统地研究和发现语言模型中的刻板印象，提出了敏感度测试（SeT）以测量语言模型中的刻板印象，并将该框架扩展到测量交叉身份的 LM 刻板印象。

    Jun, 2022

  • StereoKG: 基于数据驱动的文化知识与刻板印象知识图谱构建

    本研究介绍了一种数据驱动的生成文化知识和刻板印象知识图谱的全流程，并进行了评估和训练，提高了模型的文化认知和对抗仇恨言论检测的性能。

    May, 2022