Aug, 2023

SurveyLM: 探索增强语言模型行为中新兴价值观的平台

PDF
TL;DR该研究报告介绍了我们关于 SurveyLM 的工作，这是一个用于分析增强语言模型 (ALMs) 在复杂社交环境中以动态方式形成的态度和价值观的平台。通过应用传统研究社交行为的调查和实验方法，我们系统地评估 ALMs，以提供对它们的对齐和新兴行为的前所未有的洞察力。此外，SurveyLM 平台利用 ALMs 的反馈来增强调查和实验设计，加快了高质量调查框架的开发和测试，同时节约资源。通过 SurveyLM，我们旨在揭示影响 ALMs 新兴行为的因素，促进其与人类意图和期望的对齐，从而为负责任地开发和部署先进的社交人工智能系统做出贡献。该白皮书强调了该平台提供可靠结果的潜力，突出了它对对齐研究的重要性以及对未来社交人工智能系统的影响。
surveylmalmsalignment dynamicsemergent behaviorssocial ai systems
发现论文，激发创造
  • 在模拟人类社会中训练基于社交对齐的语言模型

    提出一种新的 LMs 训练范式，让其可以从模拟社交互动中学习，从而使人工智能系统更好地符合社会规范和价值观。

    May, 2023

  • 大型语言模型对齐：一项调查

    大型语言模型（LLMs）的对齐方法研究，包括外部和内部对齐方法，探讨了其可解释性和对抗攻击的潜在漏洞以及评估方法，并展望了未来的研究方向。

    Sep, 2023

  • 增强语言模型：一项综述调查

    该论文回顾了一些带有推理技能和使用工具能力的语言模型增强技术，并将其称为增强语言模型 (ALMs)，该模型在缺失令牌预测的目标下，能够学习推理、使用工具，甚至执行任务，具有普通语言模型所没有的上下文处理能力，且在多个基准测试中优于普通语言模型，该技术有望解决传统语言模型的局限性，如可解释性、一致性和可扩展性问题。

    Feb, 2023

  • ALI-Agent: 基于代理评估法评估 LLMs 与人类价值观的一致性

    基于大型语言模型的评估框架 ALI-Agent 可以自动化生成实际测试场景，评估模型与人类价值观的一致性，并探测出长尾风险。

    May, 2024

  • AI-Augmented 调查：运用大型语言模型对全国代表性调查的意见预测

    本文研究了利用大型语言模型（LLMs）来增强调查的三种不同应用程序：缺失数据插补，回溯预测和零 - shot 预测。该论文提出了一个新的方法论框架，其中包含民意调查问题，个人信念和时间背景的神经嵌入，以个性化 LLMs 的意见预测。该研究表明，LLMs 表现出较低的精度，但最佳模型的准确率在意识形态上明显更高，可以用于填补缺失的趋势并确定公众态度的变化。但是，模型在 zero-shot 预测任务中的表现有限，强调了 LLMs 的挑战。

    May, 2023

  • 人类驱动大型语言模型的对齐研究

    综述了大型语言模型对齐技术的全面概述，包括数据收集、训练方法和模型评估，并提供了未来研究方向的启示，是了解和推进适应人类任务和期望的 LLM 对齐的宝贵资源。

    Jul, 2023

  • 评估和改进 AI 中的价值判断：一项基于场景的大型语言模型对社会约定的描述研究

    AI 产出如何产生更好的结果，社会如何将其描绘，以及在冲突价值情境中作出决策模型的研究与应用。

    Oct, 2023

  • 使用人类反馈的 AI 对准研究中的方法论思考

    本文探讨了人工智能、对齐、大型语言模型、总结模型和人类反馈等方面的方法论挑战，特别是针对训练总结文本的 LLMs。具体地，我们关注的是收集可靠人类反馈的方法，以训练奖励模型并进一步改进总结模型。结论是建议有关 LLMs 总结能力对齐研究的实验设计方面进行特定的改进。

    Dec, 2022

  • 研究大型语言模型的文化一致性

    通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

    Feb, 2024

  • 语言模型反映了谁的观点？

    通过 OpinionsQA 数据集，本研究提出了一种量化框架，调查语言模型中体现的观点与美国 60 个人口群体的观点的一致性，在包括堕胎和自动化在内的话题上，我们发现当前的语言模型与 US 人口集体观点之间存在相当大的不匹配，即使是明确定向于特定人口群体也是如此。

    Mar, 2023