通过以人、过程和技术为视角，功能性和安全性为支柱，使用我们的统一评估框架，对 23 个最先进的 LLM 基准进行了研究，发现了显著的限制，并强调了在人工智能进步的背景下，标准化方法、监管确定性和伦理指南的迫切需求，以及通过协作努力发展被广泛接受的基准和增强人工智能系统融入社会的重要性。

Feb, 2024

建立通用人工智能系统的当前方法倾向于产生既有益又有害的能力，进一步的人工智能发展可能会导致极端风险的能力，本文解释了为什么模型评估对于解决极端风险至关重要，开发人员必须能够识别危险的能力（通过 “危险能力评估”）以及模型应用其能力进行伤害的倾向（通过 “对齐评估”），这些评估对于使政策制定者和其他利益相关者得到及时警告以及做出关于模型培训、部署和安全的负责任决策变得至关重要。

May, 2023

高性能语言模型的可信度在能够生成欺骗性输出时受到威胁，本研究提出了一种方法来调查复杂的模型对模型的欺骗情景，并通过创建一个包含超过 10,000 个具有误导性的解释的数据集，发现当模型阅读这些解释时，它们都被显著欺骗，令人担忧的是，所有能力的模型都能成功地误导其他人，而能力更强的模型只稍微更擅长抵抗欺骗，因此建议开发检测和防御欺骗的技术。

May, 2024

在本文中，我们利用大语言模型（LLMs）的能力作为运行示例，借鉴能力的大量哲学文献，发展了一个能有效应用于模型评估的机器学习模型能力的条件分析（CAMA）的核心提案，在机器学习的背景下对 CAMA 进行了精确定义，从而实现了适用于 LLMs 的 CAMA 操作。然后，我们运用 CAMA，展示它能够有助于理解机器学习模型评估实践的各种特征，并提出了进行公正的模型间比较的程序。

May, 2024

研究探讨了使用精调模型获取当前模型隐藏能力的有效性，发现精调能够充分获取密码锁定模型的隐藏能力，并能够获取通过相同或不同密码实现的其他能力，此外，强化学习等方法在仅有评估而无演示的情况下，仍然能够有效获取能力，研究结果提供了对当前模型隐藏能力获取方法可靠性的见解。

May, 2024

通过对 Gemini 1.0 模型进行新的 “危险能力” 评估，我们在先前研究的基础上，为了了解新 AI 系统所带来的风险，必须了解它的能力和无能力。我们的评估涵盖四个方面：（1）说服和欺骗；（2）网络安全；（3）自我扩散；以及（4）自我推理。在我们评估的模型中，我们没有发现强大的危险能力的证据，但我们标记了早期的预警信号。我们的目标是推动危险能力评估的严谨科学，为未来模型做好准备。

Mar, 2024

语言理解是一个多方面的认知能力，自然语言处理（NLP）领域几十年来一直致力于计算化建模。最近大型语言模型（LLMs）的出现，使得以生成模型为动力的通用性、任务无关的方法成为主流，这导致了语言任务传统上的划分不再适用，带来了对评估和分析的挑战，同时也加大了对可靠系统的需求。因此，我们主张重新思考 NLP 中任务和模型评估的涵义，并追求对语言的更全面视角，将可靠性放在核心地位。为了实现这一目标，我们回顾了现有的划分式方法，以了解模型功能能力的起源，并提出了多方面评估协议的建议。

Oct, 2023

大型语言模型的评估常常会受到不适当使用评估基准和误导性解读评估结果等问题的影响。本研究通过大量实验发现，评估基准泄漏会极大地提高评估结果，从而导致对模型性能的不可靠评估。最后，为大型语言模型的开发者和基准维护者提出了一些建议。

Nov, 2023

通过开发和评估能够抵御恶意破坏的安全技术（协议），我们研究了使用大型语言模型（LLMs）解决编程问题的场景，并且改进了现有的基准方法。

Dec, 2023

通过对语言模型进行评估，我们发现其在不同数据集中，包括新的虚假评估中，对评估注入的改变非常敏感。类似的注入也可用于自动的解释性框架，以产生误导性的模型编写解释。这些结果激发了进一步的研究，并应该警告我们不要对评估和自动解释过度信任。

Nov, 2023