CultureLLM: 将文化差异融入大型语言模型

Feb, 2024

CultureLLM: 将文化差异融入大型语言模型

CultureLLM: Incorporating Cultural Differences into Large Language Models

Cheng Li, Mengzhou Chen, Jindong Wang, Sunayana Sitaram, Xing Xie

TL;DR提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

Abstract

large language models (LLMs) are reported to be partial to certain cultures owing to the training data dominance from the English corpora. Since multilingual cultural data are often expensive to collect, existing efforts handle this by prompt engineering or culture-specific pre-trainin

large language models culturellm cultural differences world value survey data augmentation

发现论文，激发创造

研究大型语言模型的文化一致性

通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

Feb, 2024

超越指标：评估 LLM 在文化细微、资源贫乏的真实场景中的有效性

评估了在多语言和代码混合通信环境中使用的七个领先大型语言模型（LLMs）的情感分析性能，发现 GPT-4 和 GPT-4-Turbo 在理解语言输入和处理上下文信息方面表现出色，与人的一致性高且决策过程透明，但在非英语环境中的文化细微差别方面存在不稳定性，结果强调了 LLMs 不断改进以有效应对文化差异、资源有限的真实世界环境的必要性。

Jun, 2024

适用于特定文化背景的大型英语语言模型的方法论

针对大型语言模型在特定文化背景下应用的挑战，本文提出了一种快速自适应方法，利用特定文化知识和安全价值数据进行指导调整。实验结果表明，适应后的语言模型在领域特定知识和适应性方面显著提升，同时保持了其原有的专业优势。

Jun, 2024

CulturePark: 大型语言模型中跨文化理解的提升

通过 CulturePark，我们生成了 41,000 个文化样本，用于优化八个特定文化的 LLM。我们在内容审查、文化协调和文化教育三个下游任务中评估了这些模型，结果表明在内容审查方面，基于 GPT-3.5 的模型要么与 GPT-4 相匹配，要么胜过它。在文化协调方面，我们的模型优于 GPT-4 的 Hofstede 的 VSM 13 框架。此外，针对人类参与者的文化教育，我们的模型在学习效果和用户体验方面与 GPT-4 相比展现了卓越的结果。CulturePark 是解决文化偏见和推动人工智能民主化的重要进展，突显了文化包容性数据在模型训练中的关键作用。

May, 2024

基于 LLM 的机器翻译中加入文化意识

本研究着眼于如何将文化知识应用于大型语言模型的机器翻译中，提出了一种新的数据筛选方法来构建具有文化相关性的平行语料库，并设计了简单有效的提示策略以帮助大型语言模型实现机器翻译。经过广泛实验表明，这些方法可以大大帮助将文化知识融入到大型语言模型的机器翻译中，从而在翻译文化特定的句子方面优于传统的 NMT 系统。

May, 2023

测量和建模 LLMs 中的 “文化”: 一项调查

对研究大型语言模型中文化表示和包容性的 39 篇最新论文进行概述，发现这些研究中没有明确定义 “文化”，而是通过一些特殊设计的数据集来探索模型，这些数据集代表了文化的某些方面；我们称这些方面为文化的代理，按人口统计学、语义和语言文化交互代理三个维度将其组织起来，并对使用的探测方法进行分类。分析表明，只有文化的某些方面，如价值观和目标，得到了研究，其他一些有趣且重要的方面，尤其是语义领域的多样性和主题向度，尚未被探索。另外，目前的方法缺乏鲁棒性和情境性。基于这些观察，提供了关于进一步促进 LLM 和基于 LLM 的应用中文化包容的全面可行的研究议程的几点建议。

Mar, 2024

基于 LLM 的数据增强方法提升跨语言表现

本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

May, 2023

了解大型语言模型在文化常识方面的能力和局限性

通过对多个最先进的大型语言模型的文化常识任务的能力和限制进行全面检验，我们发现大型语言模型在文化特定的常识知识上的表现存在显著差异，其通用常识能力受到文化环境的影响，并且提出查询大型语言模型所使用的语言会影响其在与文化相关的任务上的表现，我们的研究指出了大型语言模型在文化理解方面的固有偏见，并提供了帮助开发具备文化意识的语言模型的洞见。

May, 2024

从字节到偏见：研究大型语言模型的文化自我认知

这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT（OpenAI）和 Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

Dec, 2023

CULTURE-GEN: 透过自然语言提示揭示语言模型中的全球文化认知

通过对 110 个国家和地区的 8 个与文化有关的主题的文化条件生成，以及从这些生成中提取与每个文化相关的符号，我们发现文化条件生成由区分边缘文化与默认文化的语言 “标记” 组成，而且发现 LLM 在文化符号的多样性方面存在不平衡，并且来自不同地理区域的文化在 LLM 的文化无关生成中存在不同的存在。我们的发现促进了进一步研究 LLM 中全球文化知识和公平感知的研究。

Apr, 2024