Apr, 2024

CULTURE-GEN: 透过自然语言提示揭示语言模型中的全球文化认知

PDF
TL;DR通过对 110 个国家和地区的 8 个与文化有关的主题的文化条件生成，以及从这些生成中提取与每个文化相关的符号，我们发现文化条件生成由区分边缘文化与默认文化的语言 “标记” 组成，而且发现 LLM 在文化符号的多样性方面存在不平衡，并且来自不同地理区域的文化在 LLM 的文化无关生成中存在不同的存在。我们的发现促进了进一步研究 LLM 中全球文化知识和公平感知的研究。
large language modelsculture perceptionglobal culturesculture-conditioned generationsfair representation
发现论文，激发创造
  • 研究大型语言模型的文化一致性

    通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

    Feb, 2024

  • CultureLLM: 将文化差异融入大型语言模型

    提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

    Feb, 2024

  • 从字节到偏见：研究大型语言模型的文化自我认知

    这项研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT（OpenAI）和 Bard（Google）来探讨了大型语言模型的文化自我认知，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大型语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，因为我们不希望人工智能的黑盒子延续偏见，使人类在无意中创造和训练更加带有偏见的算法。

    Dec, 2023

  • CulturePark: 大型语言模型中跨文化理解的提升

    通过 CulturePark，我们生成了 41,000 个文化样本，用于优化八个特定文化的 LLM。我们在内容审查、文化协调和文化教育三个下游任务中评估了这些模型，结果表明在内容审查方面，基于 GPT-3.5 的模型要么与 GPT-4 相匹配，要么胜过它。在文化协调方面，我们的模型优于 GPT-4 的 Hofstede 的 VSM 13 框架。此外，针对人类参与者的文化教育，我们的模型在学习效果和用户体验方面与 GPT-4 相比展现了卓越的结果。CulturePark 是解决文化偏见和推动人工智能民主化的重要进展，突显了文化包容性数据在模型训练中的关键作用。

    May, 2024

  • CRAFT: 从野外提取和调整文化指引

    本文介绍了一种从庞大的非结构化语料库中提取高质量文化相关调优数据集的新型流程。通过自我生成流程识别文化概念和触发指令，并与通用指令调优数据集相结合，我们的模型展示出了较强的识别和理解区域文化细微差别的能力，从而增强了其推理能力。我们在新加坡、菲律宾和美国三个地区开展了实验，取得了高达 6% 的性能改进。我们的研究为直接从非结构化数据中提取文化指令调优集开辟了新的途径，并为未来在该领域的创新设立了先例。

    May, 2024

  • 测量和建模 LLMs 中的 “文化”: 一项调查

    对研究大型语言模型中文化表示和包容性的 39 篇最新论文进行概述，发现这些研究中没有明确定义 “文化”，而是通过一些特殊设计的数据集来探索模型，这些数据集代表了文化的某些方面；我们称这些方面为文化的代理，按人口统计学、语义和语言文化交互代理三个维度将其组织起来，并对使用的探测方法进行分类。分析表明，只有文化的某些方面，如价值观和目标，得到了研究，其他一些有趣且重要的方面，尤其是语义领域的多样性和主题向度，尚未被探索。另外，目前的方法缺乏鲁棒性和情境性。基于这些观察，提供了关于进一步促进 LLM 和基于 LLM 的应用中文化包容的全面可行的研究议程的几点建议。

    Mar, 2024

  • 大规模多元文化知识获取与语言模型基准测试

    通过从维基百科文献到链接页面的导航，建立文化知识的多元多样化采集方法与 CultureAtlas 数据集，该数据集涵盖了各种亚国家地理区域和族群，用于评估语言模型在文化多元背景下的表现和开发具有文化敏感和意识的语言模型，以促进数字领域中全球文化的更具包容性和平衡的表达。

    Feb, 2024

  • 文化影响还是安慰剂？关于社会人口统计提示的有效性

    系统研究了四种 LLMs 随不同类型提示文本在不同类型数据集上的回应变化，对于文化条件提示作为检验模型文化偏见或对齐策略的方法的鲁棒性提出了疑问，同时呼吁重新思考控制实验设计以区分回应的文化条件与 ' 安慰剂效应 ' 之间的关系。

    Jun, 2024

  • 大型语言模型中文化主导问题：并非所有国家都庆祝感恩节

    我们发现大型语言模型（LLMs）中存在文化主导问题，由于在模型训练中主要使用英文数据（例如 ChatGPT），当用户使用非英语语言进行提问时，LLMs 常常会提供与预期文化不相关的不适当的英语文化相关答案。为了系统评估文化主导问题，我们构建了一个基准，其中包括具体的（例如节日和歌曲）和抽象的（例如价值观和意见）文化对象。实证结果表明，代表性的 GPT 模型存在文化主导问题，其中 GPT-4 受到的影响最大，而 text-davinci-003 受到的影响最小。我们的研究强调了对文化主导问题进行批判性审视和在开发和部署中考虑道德问题的必要性。我们展示了在 LLMs 中如何通过两种直接的方法（即使用更多样化的数据进行预训练和文化感知的提示）来显著减轻文化主导问题。

    Oct, 2023

  • 基于 LLM 的机器翻译中加入文化意识

    本研究着眼于如何将文化知识应用于大型语言模型的机器翻译中，提出了一种新的数据筛选方法来构建具有文化相关性的平行语料库，并设计了简单有效的提示策略以帮助大型语言模型实现机器翻译。经过广泛实验表明，这些方法可以大大帮助将文化知识融入到大型语言模型的机器翻译中，从而在翻译文化特定的句子方面优于传统的 NMT 系统。

    May, 2023