多语言的回响：追踪在语言模型精调过程中的文化价值转变
本研究使用 TracIn 方法分析多语言大模型的跨语言数据共享机制，发现多语言大模型在微调的早期阶段即依赖多语言数据，且随着微调的进行，这种依赖关系逐渐增强，同时还研究了微调语言对特定测试语言上的模型表现的影响。
May, 2023
该研究介绍了一种研究方法，探究 Pre-Trained Language models 中不同文化背景下内嵌的价值观，并研究了这些模型与已有价值观测量问卷之间的对齐度较弱，讨论了如何在跨文化环境下使用这些不一致的模型以及对齐模型的方法。
Mar, 2022
通过全面的研究，我们证实了多语言语言模型中存在多语言人类价值观念，进一步的跨语言分析揭示了语言资源差异引起的三个特征：跨语言不一致性、扭曲的语言关系以及高资源语言与低资源语言之间的单向跨语言传递，同时验证了通过使用主导语言作为源语言来控制多语言语言模型的价值观调整能力的可行性。我们的发现在多语言语言模型的预训练数据构成方面给出了明智的建议：在跨语言对齐传递时包含有限数量的主导语言，避免其过度流行，并保持非主导语言的平衡分布。我们希望我们的发现能够为增强多语言人工智能的安全性和实用性做出贡献。
Feb, 2024
通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。
Feb, 2024
提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。
Feb, 2024
针对大型语言模型在特定文化背景下应用的挑战，本文提出了一种快速自适应方法，利用特定文化知识和安全价值数据进行指导调整。实验结果表明，适应后的语言模型在领域特定知识和适应性方面显著提升，同时保持了其原有的专业优势。
Jun, 2024
该研究定义了文化适应的任务，并创建了一个评估框架来评估不同模型在这个任务上的性能。研究评估了现代 LLMs 在文化适应方面的表现，分析了它们在不同文化之间连接相关概念时的跨文化知识，并分析了自动适应中可能存在的文化偏见和刻板印象。希望该任务能够更深入地了解 LLMs 在跨文化情境中的文化理解和创造力。
Jun, 2024
通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。
Mar, 2024
通过对大型语言模型进行 Hofstede 文化维度的建议请求，研究发现大型语言模型在反映用户国家的价值观方面存在差异，但在回答问题时不一定遵循这些价值观，难以理解基于不同文化价值观的差异，因此提出了训练以价值观和文化敏感为导向的大型语言模型的建议。
Jun, 2024