ACLJun, 2024

ValueBench: 面向全面评估大型语言模型的价值导向和理解能力

PDF
TL;DR介绍了 ValueBench 作为第一个综合性的心理测量基准，用于评估大型语言模型的价值取向和价值理解，并通过在人工智能与人类的实际互动中进行评估管道和开放性价值空间任务的实验，揭示了六个代表性大型语言模型的共同和独特的价值取向，展示了它们在价值相关的提取和生成任务中接近专家结论的能力。
large language modelsvaluebenchpsychometric benchmarkvalue orientationsvalue understanding
发现论文，激发创造
  • 超越人类规范：通过跨学科方法揭示大型语言模型的独特价值

    基于心理学方法研究，该论文通过提出 ValueLex 框架，重建了大型语言模型（LLMs）的独特价值体系，并鉴定出了三个核心价值维度：能力、品格和诚信。同时，他们还开发了定制的项目测试来评估和分析 LLMs 在不同模型规模、训练方法和数据来源下的价值倾向，从而为未来的人工智能对齐和规范铺平了道路。

    Apr, 2024

  • 大型语言模型中评估态度、观点和价值的潜力与挑战

    近年来，大型语言模型（LLMs）的最新进展引发了人们对验证和理解 LLMs 可能具有的类人认知行为特质（Attitudes，Opinions，Values）的广泛兴趣。然而，测量嵌入在 LLMs 中的 AOV 仍然模糊不清，不同的评估方法可能得出不同的结果。本文旨在通过概述最近对 LLMs 中 AOV 评估的研究工作来弥合这一差距。此外，我们还调查了这些研究工作中评估流程不同阶段的相关方法。通过这样做，我们解决了了解模型、人工智能与人类的协同以及在社会科学中的下游应用方面的潜力与挑战。最后，我们提供了对评估方法、模型改进和跨学科合作的实际见解，从而为评估 LLMs 中的 AOV 的不断发展的领域做出贡献。

    Jun, 2024

  • 生成人工智能时代下的大型语言模型评估标准的不足

    通过以人、过程和技术为视角，功能性和安全性为支柱，使用我们的统一评估框架，对 23 个最先进的 LLM 基准进行了研究，发现了显著的限制，并强调了在人工智能进步的背景下，标准化方法、监管确定性和伦理指南的迫切需求，以及通过协作努力发展被广泛接受的基准和增强人工智能系统融入社会的重要性。

    Feb, 2024

  • 一个以用户为中心的评估大型语言模型的基准

    我们提出了从用户角度对大型语言模型进行基准测试，旨在更好地反映实际用户需求，并且我们还构建了用户报告场景数据集以及对 10 个语言模型服务在满足用户需求方面的基准测试。

    Apr, 2024

  • 大型语言模型的异构价值评估

    本研究提出了 A2EHV，一种自动化对齐评估方法，旨在提高大型语言模型的价值合理性，并在异构价值系统下进行评估，结合社会心理学中的社会价值取向框架，对大型语言模型的价值合理性进行评估，观察到大型模型更倾向于与中性价值对齐。

    May, 2023

  • 量化 AI 心理学：大型语言模型的心理测量基准

    本论文提出了一个研究大语言模型的心理学的框架，并通过心理测试验证，发现大语言模型表现出广泛的心理属性，并揭示了自我报告特征与现实场景中行为之间的差异。这些研究结果对于可靠的评估和人工智能以及社会科学的潜在应用具有重要的见解。

    Jun, 2024

  • 通过判别 - 评论间隙测量语言模型中的价值理解

    通过使用价值理解测量框架（VUM） quantitatively 评估 “知道什么” 和 “知道为什么”，我们评估了五个典型的大型语言模型。结果显示，扩展法则显著影响 “知道什么”，但对 “知道为什么” 的影响不大，而后者始终保持在较高的水平。这可能进一步表明，大型语言模型可能会根据提供的上下文构建合理的解释，但并不真正理解其中的内在价值，表明潜在的风险。

    Sep, 2023

  • WorldValuesBench：一种大规模多文化价值意识语言模型的基准测试数据集

    本文介绍了 WorldValuesBench，这是一个全球多元化的大规模基准数据集，用于多元文化价值预测任务，要求模型基于人口统计上下文生成对价值问题的评分回答。该数据集源自一个有影响力的社会科学项目 World Values Survey（WVS），从全球 94728 名参与者那里收集了数百个价值问题（例如社会、经济、伦理学）。我们从 WVS 的回答中构建了超过 2000 万个 “(人口统计属性，价值问题) → 回答” 的例子。我们使用这个数据集进行了案例研究，并表明这个任务对于强大的开源和闭源模型来说是具有挑战性的。在仅 11.1%、25.0%、72.2% 和 75.0% 的问题上，Alpaca-7B、Vicuna-7B-v1.5、Mixtral-8x7B-Instruct-v0.1 和 GPT-3.5 Turbo 分别可以实现与人类归一化答案分布的 Wasserstein 1 距离小于 0.2。WorldValuesBench 为研究语言模型中的多元文化价值意识的局限性和机遇开辟了新的研究领域。

    Apr, 2024

  • 通过合成基准评估大型视觉 - 语言模型对现实世界复杂性的理解

    该研究评估了大型视觉语言模型（LVLMs）区分人工生成图像和人类生成图像的能力。通过引入一种新的自动化基准构建方法来进行评估。实验证明 LVLMs 在某种程度上能够区分图像类型，但存在向右的偏差，并且相对于人类表现出明显较差。为了深入研究这些发现，我们使用人工智能开发了一个自动化基准构建过程。该过程包括主题检索、叙事脚本生成、错误嵌入和图像生成，从而创建了一组包含有意错误的文本 - 图像对。通过构建两个可比较的基准，我们验证了我们的方法。本研究凸显了 LVLMs 在现实世界理解方面的优势和劣势，并推进了基准构建技术，提供了一种可扩展和自动化的人工智能模型评估方法。

    Jun, 2024

  • MoralBench: LLMs 的道德评估

    该论文介绍了一个新颖的基准，旨在衡量和比较大型语言模型的道德推理能力，通过开发针对大型语言模型的道德维度的综合数据集和指标，结合伦理学者的定性洞察力，评估模型性能，并揭示了不同模型的道德推理能力存在显著差异，强调在大型语言模型的开发和评估中考虑道德推理的重要性，并需要进行后续研究来解决暴露在研究中的偏见和局限性。

    Jun, 2024