LLM 在不同文化背景中如何准确代表价值观？基于霍夫斯泰德文化维度的经验分析

Jun, 2024

LLM 在不同文化背景中如何准确代表价值观？基于霍夫斯泰德文化维度的经验分析

How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

PDF

Julia Kharchenko, Tanya Roosta, Aman Chadha, Chirag Shah

TL;DR通过对大型语言模型进行 Hofstede 文化维度的建议请求，研究发现大型语言模型在反映用户国家的价值观方面存在差异，但在回答问题时不一定遵循这些价值观，难以理解基于不同文化价值观的差异，因此提出了训练以价值观和文化敏感为导向的大型语言模型的建议。

Abstract

large language models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different value

large language models cultural values hofstede cultural dimensions value-aligned llms culturally sensitive llms

发现论文，激发创造

大型语言模型中的文化整合：基于霍夫斯泰德文化维度的分析

使用 Hofstede 的文化维度框架，通过潜变量分析提供解释性跨文化比较，文中提出了 Cultural Alignment Test（CAT）以解决大型语言模型（LLMs）的文化不匹配问题，并使用不同的提示样式和超参数设置评估了 ChatGPT 和 Bard 等 LLMs 嵌入在美国、沙特阿拉伯、中国和斯洛伐克等不同文化之中的文化价值。结果不仅量化了 LLMs 与特定国家的文化一致性，还揭示了 LLMs 在解释性文化维度方面的差异。其中 GPT-4 在理解美国文化价值方面得分最高。

Aug, 2023

研究大型语言模型的文化一致性

通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

Feb, 2024

评估基于大语言模型的道德价值多元论

利用一个名为识别价值共鸣（RVR）的 NLP 模型，将 WVS 调查的价值观与生成的 LLMs 文本进行比较，发现 LLMs 显示出西方中心主义的价值偏见，高估了非西方国家的保守性，对非西方国家的性别表达不准确，并将年长人口描绘为更具传统价值。

Dec, 2023

CultureLLM: 将文化差异融入大型语言模型

提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

Feb, 2024

测量和建模 LLMs 中的 “文化”: 一项调查

对研究大型语言模型中文化表示和包容性的 39 篇最新论文进行概述，发现这些研究中没有明确定义 “文化”，而是通过一些特殊设计的数据集来探索模型，这些数据集代表了文化的某些方面；我们称这些方面为文化的代理，按人口统计学、语义和语言文化交互代理三个维度将其组织起来，并对使用的探测方法进行分类。分析表明，只有文化的某些方面，如价值观和目标，得到了研究，其他一些有趣且重要的方面，尤其是语义领域的多样性和主题向度，尚未被探索。另外，目前的方法缺乏鲁棒性和情境性。基于这些观察，提供了关于进一步促进 LLM 和基于 LLM 的应用中文化包容的全面可行的研究议程的几点建议。

Mar, 2024

超越人类规范：通过跨学科方法揭示大型语言模型的独特价值

基于心理学方法研究，该论文通过提出 ValueLex 框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析 LLMs 在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

Apr, 2024

大型语言模型作为文化角度的叠加

本文介绍了大语言模型（LLMs）是如何呈现出与不同价值观和个性特质相关的不同视角，认为 LLMs 是一系列具有不同价值观和人格特质的透视。在实验中，研究者使用心理学问卷（PVQ，VSM，IPIP）来研究模型表现的价值观和个性特质如何因不同视角而变化。通过定性和定量实验，研究者证明了 LLMs 在不同情境下表达不同的价值观和人格特质，并且探讨了多种相关的科学问题。

Jul, 2023

探索大规模语言模型中的多语言人类价值观念：价值一致性、可传递性和可控性是否跨语言保持一致？

通过全面的研究，我们证实了多语言语言模型中存在多语言人类价值观念，进一步的跨语言分析揭示了语言资源差异引起的三个特征：跨语言不一致性、扭曲的语言关系以及高资源语言与低资源语言之间的单向跨语言传递，同时验证了通过使用主导语言作为源语言来控制多语言语言模型的价值观调整能力的可行性。我们的发现在多语言语言模型的预训练数据构成方面给出了明智的建议：在跨语言对齐传递时包含有限数量的主导语言，避免其过度流行，并保持非主导语言的平衡分布。我们希望我们的发现能够为增强多语言人工智能的安全性和实用性做出贡献。

Feb, 2024

探究预训练语言模型在跨文化价值差异中的应用

该研究介绍了一种研究方法，探究 Pre-Trained Language models 中不同文化背景下内嵌的价值观，并研究了这些模型与已有价值观测量问卷之间的对齐度较弱，讨论了如何在跨文化环境下使用这些不一致的模型以及对齐模型的方法。

Mar, 2022

大型语言模型是否具有变色龙特性？

大型语言模型（LLMs）是否具有其自己的世界观和个性倾向？对 LLM 模型回答主观问题的模拟进行了 100 多万次，将其回答与欧洲社会调查（ESS）的真实数据进行比较，结果表明问题引导对偏见和变异的影响是基本的，突出了主要的文化、年龄和性别偏见。文中还讨论了测量 LLMs 与调查数据差异的方法，如计算加权平均值和基于 Jaccard 相似性的一项新提出的测量。我们得出结论，在使用 LLMs 模拟个体决策或集体行为之前，分析问题引导的稳健性和变异性非常重要，因为它们的模拟能力充其量是近似的。

May, 2024