Nov, 2023

CDEval：评估大型语言模型文化维度的基准

PDF
TL;DR利用 GPT-4 自动生成并通过人工验证的方式，我们构建了一个评估 LLMs 文化维度的新基准，CDEval。通过研究主流 LLMs 的文化方面，我们得出了一些有趣的结论，强调了在 LLM 开发中整合文化考量的重要性，特别是在多元文化环境中的应用。通过 CDEval，我们旨在为 LLM 的未来发展和评估提供一个更全面的框架，为文化研究提供宝贵的资源，为构建更具文化意识和敏感性的模型铺平道路。
large language modelsalignment problemculturecdevalcultural dimensions
发现论文，激发创造
  • 大型语言模型中的文化整合：基于霍夫斯泰德文化维度的分析

    使用 Hofstede 的文化维度框架，通过潜变量分析提供解释性跨文化比较，文中提出了 Cultural Alignment Test（CAT）以解决大型语言模型（LLMs）的文化不匹配问题，并使用不同的提示样式和超参数设置评估了 ChatGPT 和 Bard 等 LLMs 嵌入在美国、沙特阿拉伯、中国和斯洛伐克等不同文化之中的文化价值。结果不仅量化了 LLMs 与特定国家的文化一致性，还揭示了 LLMs 在解释性文化维度方面的差异。其中 GPT-4 在理解美国文化价值方面得分最高。

    Aug, 2023

  • CultureLLM: 将文化差异融入大型语言模型

    提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

    Feb, 2024

  • AlignBench：大型语言模型中文对齐性能基准测试

    介绍了 AlignBench，这是一个多维基准，用于评估中文大型语言模型（LLMs）的对齐能力。使用人机协作的数据处理流程，通过使用 Rule-calibrated 多维 LLM 作为评判者和思维链来生成解释和最终评级，确保评估的可靠性和解释性。此外，开发了专门用于评估中文 LLMs 对齐性的伴侣评估模型 CritiqueLLM，可通过公共 API 提供给研究人员使用。

    Nov, 2023

  • 研究大型语言模型的文化一致性

    通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

    Feb, 2024

  • 腾讯 LLMEval：人类对齐的 LLMs 的实际能力的层次评估

    通过构建一个综合的人工评估框架，我们提出了一个评估大规模语言模型在不同实际任务中遵循指令的能力的方法，同时设计了详细的评估标准和过程，释放了一个包含不同难度水平和知识领域的测试集，并分析了自动化评估的可行性。我们的研究为评估英语和中文大规模语言模型的人类对齐性提供了一个标准化的方法，旨在促进安全和人类对齐性大规模语言模型发展进步的基准化。

    Nov, 2023

  • 多模态大型语言模型与人类价值观相协调的评估

    通过引入 Ch3Ef 数据集和评估策略，本研究总结了 10 多个关键发现，增进了对多模态大语言模型的能力、局限性以及评估层次之间的动态关系的理解，为未来领域的进展指明了方向。

    Mar, 2024

  • CValues: 从安全到责任，衡量中国大型语言模型的价值

    本文提出了 CValues，首个用于评估大型语言模型（LLMs）人类价值观一致性的中文评估基准，该基准通过在十个场景中手动收集对抗性安全提示和由专业专家引导的八个领域的责任提示来衡量 LLMs 的一致性能力。研究发现，虽然大部分中文 LLMs 在安全方面表现良好，但在责任方面还有相当大的改进空间。自动评估和人工评估在评估不同方面的人类价值观一致性方面都是重要的。

    Jul, 2023

  • BLEnD: 基于多元文化和语言的常识性 LLM 基准

    LLMs 在文化敏感性方面缺乏对日常生活的文化特定知识，不同于在线来源如维基百科，BLEnD 通过手工设计的基准评估了 LLMs 对多元文化和语言的日常知识，结果显示 LLMs 在高度在线代表的文化中表现更好，而在低资源语言文化中表现更好的是英语而非本地语言。

    Jun, 2024

  • DevEval：与现实世界源代码仓库对齐的手动注释代码生成基准

    通过新的基准测试 DevEval，我们评估了 8 种流行的大型语言模型在真实代码库中的编码能力，并发现这些模型的编码能力在真实世界的代码库中存在缺陷。

    May, 2024

  • DevEval: 评估实际软件项目中的代码生成

    通过提出一个与开发者在实践项目中的经验相一致的新基准 DevEval，我们评估了五个热门的大型语言模型在代码生成方面的实际能力，揭示了它们的实际表现，并讨论了在实践项目中代码生成的挑战和未来发展方向。

    Jan, 2024