Nov, 2023

审计和减轻LLMs中的文化偏见

HTML
PDF
TL;DR文化在人们的推理、行为和交流中起着根本性的作用。生成性人工智能（AI）技术可能导致文化的转变。我们对大型语言模型进行文化偏差审核，将它们的回应与全国代表性调查数据进行比较，并评估特定国家的提示作为缓解策略。我们发现，GPT-4、3.5和3展现出类似英语和新教欧洲国家的文化价值观。我们的缓解策略减少了近期模型中的文化偏差，但并不适用于所有国家/地区。为了避免在生成性人工智能中存在文化偏见，尤其是在高风险环境中，我们建议使用文化匹配和持续进行文化审核。
发现论文，激发创造
  • 解构国籍偏见：人们对AI生成文章中国籍的感知研究

    研究了自然语言处理（NLP）模型中的国籍偏见及其对公众看法的影响，并发现具有偏见的NLP模型会复制和放大现有社会偏见，导致人工智能系统的不公平和不正义，强调了公众看法在塑造人工智能对社会的影响中的关键作用以及纠正人工智能系统中的偏见的必要性。

    Aug, 2023

  • 评估大型语言模型中的性别和种族刻板印象

    通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

    Nov, 2023

  • 从字节到偏见：研究大型语言模型的文化自我认知

    这项研究通过从GLOBE项目获取的价值问题激发ChatGPT（OpenAI）和Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

    Dec, 2023

  • 可解释人工智能研究中的文化偏见：系统分析

    解釋性人工智能 (XAI) 系統需要考慮人們的文化差異，並確定不同文化背景下的使用者對於解釋的需求，以免產生文化偏見，目前的研究普遍忽略了這方面的變異，這項研究旨在填補這一知識空白。

    Feb, 2024

  • 文化协作：AI辅助的互动式红色对抗测试，应对在低动态范围线性模型中文化多元知识的挑战

    CulturalTeaming是一个人工智能系统，与人类合作创建多元文化知识评估数据集，通过与人类的互动合作，利用大型语言模型的自动化功能，提高文本注释者的能力并改善他们的体验，从而评估大型语言模型的多元文化知识，并揭示了现代大型语言模型在多元文化能力上存在的显著差距。

    Apr, 2024

  • 探索机器生成的AI回答中LGBTQ+偏见在不同国家和宗教背景下的体现

    这项研究调查了两个生成型人工智能系统对于具有不同文化和宗教背景信息的恐同言论的反应。研究结果发现，ChatGPT 3.5的回复表现出文化相对主义，而Bard则强调人权并对LGBTQ+问题提供更多支持。两者在回复中对于不同背景信息的调整显示了显著的变化，暗示AI系统在对于LGBTQ+人群的支持程度和方式上可能会根据所接收到的用户背景信息作出调整。该研究有助于理解AI回应的社会和伦理意义，并认为使生成型AI输出在文化上更多样化的努力需要以基本的人权为基础。

    Jul, 2024

  • 驾驭文化万花筒：大型语言模型敏感性的搭便车指南

    本研究解决了大型语言模型（LLMs）在全球应用中面临的文化敏感性挑战，特别是小参数模型缺乏捕捉全球文化细微差别的训练数据。通过创建文化伤害测试数据集和文化对齐偏好数据集，我们提供了评估和增强LLMs文化敏感性的方法，研究表明整合文化反馈显著改善模型输出，从而促进更具包容性和尊重的人工智能系统的发展。

    Oct, 2024

  • 嘿，GPT，你能更种族主义吗？对众包尝试从生成性人工智能中引出偏见内容的分析

    本研究解决了当前对生成性人工智能（GenAI）中固有社会偏见理解不足的问题，重点考察非专业用户如何识别和与这些偏见互动。通过分析大学级竞赛中参与者的提示设计，我们发现了多种在GenAI中存在的偏见及其诱导策略，为理解用户对GenAI系统偏见的感知提供了重要见解，旨在为模型开发者的偏见缓解工作提供指导。

    Oct, 2024

  • 语言模型中的文化意识调查：文本及其他

    本研究针对大规模语言模型在应用中对用户文化敏感性的需求进行了调查，指出了当前文献中的不足之处。通过提出跨文化数据集的创建方法和文化纳入策略，本论文总结了在文本和多模态语言模型中增强文化意识的最新进展。研究发现，推动文化对齐不仅能提高语言模型的包容性，还有助于社会科学研究的发展。

    Oct, 2024

  • LLM-GLOBE：评估大型语言模型中隐含的文化价值观的基准

    本研究针对当前对大型语言模型（LLMs）文化价值观的研究不足，提出了LLM-GLOBE基准，以评估LLMs中的文化价值体系。通过采用新的“LLMs作为陪审团”的方法，研究比较了中美两国LLMs的文化价值观，结果显示东西方文化价值体系之间的异同，为后续的模型开发和评估提供了重要启示。

    Nov, 2024