Sep, 2024

评估大型语言模型中的性别、种族和年龄偏见：职业和犯罪场景的比较分析

HTML
PDF
TL;DR本研究探讨了大型语言模型（LLMs）中存在的偏见问题，影响其可用性和公平性。通过分析2024年发布的四种领先LLMs在职业和犯罪场景中的性别、种族和年龄偏见，发现这些模型在职业场景中对女性角色的描绘偏差达37%，而在犯罪场景中性别、种族和年龄的偏差分别为54%、28%和17%。研究结果强调了当前偏见缓解技术的局限性，呼吁寻找更有效的方法。
发现论文，激发创造
  • 揭示法学硕士职业领域中的性别偏见：分析与解决社会学意义

    该研究探讨了大型语言模型中的性别偏见问题，特别关注GPT-2和GPT-3.5等多个语言模型之间的比较，通过对生成的文本进行全面的文献综述和定量分析，发现了性别化词汇关联、语言使用和偏见叙述的问题，并提出了减少性别偏见的算法和数据增强技术。该研究强调了学科间合作的重要性和社会学研究在减少AI模型性别偏见中的作用。

    Jul, 2023

  • 大型语言模型的机会不平等：透过职位推荐揭示人口偏见

    通过分析工作推荐, 揭示大型语言模型中的人口统计偏见。研究发现LLMs存在与不同人口统计身份相关的偏见，如Mexican workers普遍倾向于低薪工作，女性倾向于秘书角色。这突出了在后续应用中量化LLMs偏见的重要性，以了解可能造成的伤害和不公平结果。

    Aug, 2023

  • 大型语言模型中的性别偏见和刻板印象

    通过对四个最近发表的大型语言模型进行测试，我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见，它们更倾向于选择与性别刻板印象相关的职业，并且在提供自己选择的解释时常常存在事实错误，对于这些模型的偏见行为，我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。

    Aug, 2023

  • 探究LLM中更微妙的偏见：生成模型中的年龄歧视、美貌、机构和国籍偏见

    通过使用模板生成的数据集，本文研究了LLMs在年龄和美貌等维度上的偏见，以及LLMs对特定社会群体的情感偏向。同时，我们报告了多个先进的LLMs找到的相关性，这个数据集可以用来评估更广泛的偏见，并且模板技术可用于在最小的人工注释下扩展该基准。

    Sep, 2023

  • 评估大型语言模型中的性别和种族刻板印象

    通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

    Nov, 2023

  • 评估LLMs在著名人士中的性别差异

    该研究评估了大型语言模型对获取事实信息的使用，特别研究了这些模型在回答问题时可能产生错误回答或完全拒绝回答的倾向，并重点调查了性别差异在模型回答中的存在。研究结果显示GPT-3.5生成的回答存在明显性别差异，尽管GPT-4的进展改善了性能，但并未完全消除这些性别差异，特别是在回答被拒绝的情况下。研究进一步探讨了提示中性别相关性和回答的同质性对这些差异的影响。

    Mar, 2024

  • 大型语言模型中的受保护群体偏见与刻板印象

    在伦理和公平的领域中，现代大型语言模型(Large Language Models，LLMs)在破解很多最先进的基准测试中表现出色，该研究主要探讨LLMs在受保护群体偏见方面的行为，发现LLMs存在对性别、性取向和西方文化的偏见，并且模型不仅反映了社会偏见，而且似乎放大了这些偏见。尽管该模型对涉及受保护群体的问题过于谨慎，强调多样性和公平，但这种人工限制潜在有害输出的做法本身可能会造成伤害，应该谨慎和有控制地应用。

    Mar, 2024

  • 雇佣我还是不雇佣？考察语言模型对职业属性的行为

    本论文研究了大型语言模型在职业决策过程中与性别刻板印象相关的行为，通过多轮问答的方式，探究和量化了性别刻板印象在语言模型行为中的存在，并测试了三种模型的偏好。发现所有模型都存在类似于人类偏见的性别刻板印象，但偏好不同，且GPT-3.5-turbo和Llama2-70b-chat的不同偏好可能意味着当前的对齐方法对消除偏见不足够，甚至可能引入与传统性别刻板印象相矛盾的新偏见。

    May, 2024

  • 大规模语言模型真的没有偏见吗？通过越狱提示评估偏见诱导的对抗鲁棒性

    该研究探讨了最近的大型语言模型中存在的偏见，分析其对公正性和可靠性的影响，并研究了如何利用已知的提示工程技术来揭示大型语言模型的隐藏偏见，并对其进行了针对偏见引诱而设计的越狱提示的对抗强度测试。通过对不同规模的最广泛使用的大型语言模型进行广泛实验，证实了尽管这些模型具有先进的能力和复杂的对齐过程，但仍然可以操纵它们产生有偏见或不适当的回应，强调了加强缓解技术以解决这些安全问题的重要性，朝着更可持续和包容的人工智能发展。

    Jul, 2024

  • 大型语言模型使用案例中评估偏见和公平性的可执行框架

    该研究旨在为从业者提供技术指南，以评估大型语言模型（LLMs）使用情况中的偏见和公平风险。研究通过分类LLM偏见和公平风险，并形式化定义各种评估指标来提供决策框架，以确定特定LLM使用情况下应使用哪些指标。

    Jul, 2024