Nov, 2024

LLM-GLOBE：评估大型语言模型中隐含的文化价值观的基准

HTML
PDF
TL;DR本研究针对当前对大型语言模型（LLMs）文化价值观的研究不足，提出了LLM-GLOBE基准，以评估LLMs中的文化价值体系。通过采用新的“LLMs作为陪审团”的方法，研究比较了中美两国LLMs的文化价值观，结果显示东西方文化价值体系之间的异同，为后续的模型开发和评估提供了重要启示。
发现论文，激发创造
  • 评估和改进AI中的价值判断：一项基于场景的大型语言模型对社会约定的描述研究

    AI产出如何产生更好的结果，社会如何将其描绘，以及在冲突价值情境中作出决策模型的研究与应用。

    Oct, 2023

  • 审计和减轻LLMs中的文化偏见

    文化在人们的推理、行为和交流中起着根本性的作用。生成性人工智能（AI）技术可能导致文化的转变。我们对大型语言模型进行文化偏差审核，将它们的回应与全国代表性调查数据进行比较，并评估特定国家的提示作为缓解策略。我们发现，GPT-4、3.5和3展现出类似英语和新教欧洲国家的文化价值观。我们的缓解策略减少了近期模型中的文化偏差，但并不适用于所有国家/地区。为了避免在生成性人工智能中存在文化偏见，尤其是在高风险环境中，我们建议使用文化匹配和持续进行文化审核。

    Nov, 2023

  • 评估基于大语言模型的道德价值多元论

    利用一个名为识别价值共鸣（RVR）的NLP模型，将WVS调查的价值观与生成的LLMs文本进行比较，发现LLMs显示出西方中心主义的价值偏见，高估了非西方国家的保守性，对非西方国家的性别表达不准确，并将年长人口描绘为更具传统价值。

    Dec, 2023

  • 从字节到偏见：研究大型语言模型的文化自我认知

    这项研究通过从GLOBE项目获取的价值问题激发ChatGPT（OpenAI）和Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

    Dec, 2023

  • 文化协作：AI辅助的互动式红色对抗测试，应对在低动态范围线性模型中文化多元知识的挑战

    CulturalTeaming是一个人工智能系统，与人类合作创建多元文化知识评估数据集，通过与人类的互动合作，利用大型语言模型的自动化功能，提高文本注释者的能力并改善他们的体验，从而评估大型语言模型的多元文化知识，并揭示了现代大型语言模型在多元文化能力上存在的显著差距。

    Apr, 2024

  • 超越人类规范：通过跨学科方法揭示大型语言模型的独特价值

    基于心理学方法研究，该论文通过提出ValueLex框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析LLMs在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

    Apr, 2024

  • 价值指南针：人类与人工智能对齐的基本价值框架

    本研究解决了人工智能系统与人类及社会多样化价值观对齐的问题。提出的价值指南针框架基于心理学理论，对人类与语言模型的价值对齐进行了测量，发现存在潜在的风险性不对齐，强调了基于具体情境的对齐策略的重要性。这一研究为设计符合社会价值与伦理的人工智能提供了基础。

    Sep, 2024

  • 基于生成心理测量法的人工智能和人类价值的测量

    本研究解决了人类价值测量的空白，通过引入生成心理测量法（GPV），利用大型语言模型（LLM）进行数据驱动的价值测量。通过细调LLM并应用于人类创作的博客，证明了GPV在稳定性和有效性上的优势，并扩展到LLM的价值测量，揭示了不同价值体系对LLM安全性的预测能力。

    Sep, 2024

  • 驾驭文化万花筒：大型语言模型敏感性的搭便车指南

    本研究解决了大型语言模型（LLMs）在全球应用中面临的文化敏感性挑战，特别是小参数模型缺乏捕捉全球文化细微差别的训练数据。通过创建文化伤害测试数据集和文化对齐偏好数据集，我们提供了评估和增强LLMs文化敏感性的方法，研究表明整合文化反馈显著改善模型输出，从而促进更具包容性和尊重的人工智能系统的发展。

    Oct, 2024

  • 语言模型中的文化意识调查：文本及其他

    本研究针对大规模语言模型在应用中对用户文化敏感性的需求进行了调查，指出了当前文献中的不足之处。通过提出跨文化数据集的创建方法和文化纳入策略，本论文总结了在文本和多模态语言模型中增强文化意识的最新进展。研究发现，推动文化对齐不仅能提高语言模型的包容性，还有助于社会科学研究的发展。

    Oct, 2024