Mar, 2024

测量和建模 LLMs 中的 “文化”: 一项调查

PDF
TL;DR对研究大型语言模型中文化表示和包容性的 39 篇最新论文进行概述，发现这些研究中没有明确定义 “文化”，而是通过一些特殊设计的数据集来探索模型，这些数据集代表了文化的某些方面；我们称这些方面为文化的代理，按人口统计学、语义和语言文化交互代理三个维度将其组织起来，并对使用的探测方法进行分类。分析表明，只有文化的某些方面，如价值观和目标，得到了研究，其他一些有趣且重要的方面，尤其是语义领域的多样性和主题向度，尚未被探索。另外，目前的方法缺乏鲁棒性和情境性。基于这些观察，提供了关于进一步促进 LLM 和基于 LLM 的应用中文化包容的全面可行的研究议程的几点建议。
cultural representationinclusionlarge language modelsprobing methodssemantic domains
发现论文，激发创造
  • 研究大型语言模型的文化一致性

    通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

    Feb, 2024

  • CultureLLM: 将文化差异融入大型语言模型

    提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

    Feb, 2024

  • LLM 在不同文化背景中如何准确代表价值观？基于霍夫斯泰德文化维度的经验分析

    通过对大型语言模型进行 Hofstede 文化维度的建议请求，研究发现大型语言模型在反映用户国家的价值观方面存在差异，但在回答问题时不一定遵循这些价值观，难以理解基于不同文化价值观的差异，因此提出了训练以价值观和文化敏感为导向的大型语言模型的建议。

    Jun, 2024

  • CULTURE-GEN: 透过自然语言提示揭示语言模型中的全球文化认知

    通过对 110 个国家和地区的 8 个与文化有关的主题的文化条件生成，以及从这些生成中提取与每个文化相关的符号，我们发现文化条件生成由区分边缘文化与默认文化的语言 “标记” 组成，而且发现 LLM 在文化符号的多样性方面存在不平衡，并且来自不同地理区域的文化在 LLM 的文化无关生成中存在不同的存在。我们的发现促进了进一步研究 LLM 中全球文化知识和公平感知的研究。

    Apr, 2024

  • CulturePark: 大型语言模型中跨文化理解的提升

    通过 CulturePark，我们生成了 41,000 个文化样本，用于优化八个特定文化的 LLM。我们在内容审查、文化协调和文化教育三个下游任务中评估了这些模型，结果表明在内容审查方面，基于 GPT-3.5 的模型要么与 GPT-4 相匹配，要么胜过它。在文化协调方面，我们的模型优于 GPT-4 的 Hofstede 的 VSM 13 框架。此外，针对人类参与者的文化教育，我们的模型在学习效果和用户体验方面与 GPT-4 相比展现了卓越的结果。CulturePark 是解决文化偏见和推动人工智能民主化的重要进展，突显了文化包容性数据在模型训练中的关键作用。

    May, 2024

  • CDEval：评估大型语言模型文化维度的基准

    利用 GPT-4 自动生成并通过人工验证的方式，我们构建了一个评估 LLMs 文化维度的新基准，CDEval。通过研究主流 LLMs 的文化方面，我们得出了一些有趣的结论，强调了在 LLM 开发中整合文化考量的重要性，特别是在多元文化环境中的应用。通过 CDEval，我们旨在为 LLM 的未来发展和评估提供一个更全面的框架，为文化研究提供宝贵的资源，为构建更具文化意识和敏感性的模型铺平道路。

    Nov, 2023

  • 了解大型语言模型在文化常识方面的能力和局限性

    通过对多个最先进的大型语言模型的文化常识任务的能力和限制进行全面检验，我们发现大型语言模型在文化特定的常识知识上的表现存在显著差异，其通用常识能力受到文化环境的影响，并且提出查询大型语言模型所使用的语言会影响其在与文化相关的任务上的表现，我们的研究指出了大型语言模型在文化理解方面的固有偏见，并提供了帮助开发具备文化意识的语言模型的洞见。

    May, 2024

  • 适用于特定文化背景的大型英语语言模型的方法论

    针对大型语言模型在特定文化背景下应用的挑战，本文提出了一种快速自适应方法，利用特定文化知识和安全价值数据进行指导调整。实验结果表明，适应后的语言模型在领域特定知识和适应性方面显著提升，同时保持了其原有的专业优势。

    Jun, 2024

  • 无过滤器：对比式视觉语言模型中的文化和社会经济多样性

    该研究探讨了视觉 - 语言模型中的文化和社会经济多样性，研究发现了数据训练过程中对低社会经济地位社群和文化理解的不公平现象，并提出了一种改进方法以提高文化多样性。

    May, 2024

  • 大型语言模型中的文化整合：基于霍夫斯泰德文化维度的分析

    使用 Hofstede 的文化维度框架，通过潜变量分析提供解释性跨文化比较，文中提出了 Cultural Alignment Test（CAT）以解决大型语言模型（LLMs）的文化不匹配问题，并使用不同的提示样式和超参数设置评估了 ChatGPT 和 Bard 等 LLMs 嵌入在美国、沙特阿拉伯、中国和斯洛伐克等不同文化之中的文化价值。结果不仅量化了 LLMs 与特定国家的文化一致性，还揭示了 LLMs 在解释性文化维度方面的差异。其中 GPT-4 在理解美国文化价值方面得分最高。

    Aug, 2023