Nov, 2023

审计和减轻 LLMs 中的文化偏见

PDF
TL;DR文化在人们的推理、行为和交流中起着根本性的作用。生成性人工智能（AI）技术可能导致文化的转变。我们对大型语言模型进行文化偏差审核，将它们的回应与全国代表性调查数据进行比较，并评估特定国家的提示作为缓解策略。我们发现，GPT-4、3.5 和 3 展现出类似英语和新教欧洲国家的文化价值观。我们的缓解策略减少了近期模型中的文化偏差，但并不适用于所有国家 / 地区。为了避免在生成性人工智能中存在文化偏见，尤其是在高风险环境中，我们建议使用文化匹配和持续进行文化审核。
发现论文，激发创造
  • 从字节到偏见：研究大型语言模型的文化自我认知

    这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT（OpenAI）和 Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

    Dec, 2023

  • 揭示法学硕士职业领域中的性别偏见：分析与解决社会学意义

    该研究探讨了大型语言模型中的性别偏见问题，特别关注 GPT-2 和 GPT-3.5 等多个语言模型之间的比较，通过对生成的文本进行全面的文献综述和定量分析，发现了性别化词汇关联、语言使用和偏见叙述的问题，并提出了减少性别偏见的算法和数据增强技术。该研究强调了学科间合作的重要性和社会学研究在减少 AI 模型性别偏见中的作用。

    Jul, 2023

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 支持人工智能与人类合作审计 LLM 的 LLM

    本文介绍了一个新的大型语言模型审计工具 AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的 26 种不同类型的失效模式。

    Apr, 2023

  • 自由放任的危害：生成式语言模型中的算法偏差

    通过开放式提示，我们发现模型产生的文本在描绘边缘群体的身份时存在错误、隐含和刻板印象的问题，这些问题可能导致心理伤害和认知能力下降。

    Apr, 2024

  • AI 系统公平性：缓解语言视觉模型中的性别偏见

    本研究尝试减轻语言视觉模型中的性别偏见问题，通过研究现有数据集中性别偏见的影响程度，并提出一种缓解方法。

    May, 2023

  • 生成型人工智能和大型语言模型的全球学术指南概览

    本研究通过系统调查、基于文本挖掘的全球和国家指南、独立研究以及八十所大学层面的指导，提供了对教育中生成式人工智能（GAI）和大型语言模型（LLMs）的机会和挑战进行细致的理解。研究强调了在这些技术的整合过程中平衡方法的重要性，以 harness 利用其技术优势的同时，考虑伦理问题，并确保公平的获取和教育结果。最后，本文提出了促进负责任创新和道德实践，指导将 GAI 和 LLMs 整合到学术中的建议。

    May, 2024

  • 基于 LLM 的代码生成中的偏见评估与缓解

    基于最新的大型语言模型 (LLMs) ，本研究提出了一个面向代码生成任务的新型偏差评估框架，并对九种最先进的 LLM-based 代码生成模型进行了广泛评估。研究发现，我们评估的代码生成模型中有 31.45% 到 79.93% 的代码函数存在偏差，其中 9.68% 到 37.37% 的代码函数受到偏差的影响，这意味着不仅代码生成模型存在偏差，而且在某些情况下，偏差直接影响生成代码的功能，存在无意和可能有害的软件行为风险。为了减轻代码生成模型的偏差，我们提出了三种缓解策略，可以将偏差代码比例降低到非常低的水平，即 0.4% 到 4.57%。

    Sep, 2023

  • 大型语言模型中的性别偏见煽动与缓解之学习

    自动检测大型语言模型（如 ChatGPT 和 GPT-4）潜在性别偏见的研究，提出了一种自动生成测试用例的方法，并通过这些测试用例来减轻模型偏见，从而实现更公正的回复。

    Oct, 2023

  • LLM 响应中的有意偏见

    本研究旨在有意地引入偏见到大型语言模型的响应中，以创建特定的互动媒体角色。我们探索了 Falcon-7b 等开源模型与 Open AI 的 GPT-4 模型之间的差异，并对两个系统的响应进行了一些量化比较。我们发现，GPT-4 的专家混合模型中的防护措施虽然在确保 AI 的整体对齐方面很有用，但在构建具有各种不寻常观点的角色时却具有负面影响。本研究旨在为未来探索大型语言模型中的有意偏见奠定基础，以便这些实践可以应用于创意领域和新型媒体。

    Nov, 2023