通过引入Beyond the Imitation Game基准测试（BIG-bench），我们评估了多种大小的语言模型在204个跨不同领域的任务上的表现，发现规模越大，其表现和校准也越好，但与人类专家相比还是很差，同时也发现在歧义上下文中情境偏见随规模增加而增加，但通过提示可以改善。

Jun, 2022

通过综合调查现有工作的不同对齐目标并追踪其演变路径，本文揭示了从基本能力到价值取向的目标转变，表明内在人类价值可能是提升大型语言模型对齐目标的关键，进一步讨论了实现此内在价值对齐的挑战，并提供了一系列可用资源以支持未来对大型模型对齐的研究。

Aug, 2023

通过将成功的自底向上策略应用于符号化环境中，我们提出使用具有符号性、语言不可知性和本体论基础的大型语言模型，以在规模上逆向工程语言，从而解决大型语言模型中的难题。

Aug, 2023

大型语言模型（LLMs）的对齐方法研究，包括外部和内部对齐方法，探讨了其可解释性和对抗攻击的潜在漏洞以及评估方法，并展望了未来的研究方向。

Sep, 2023

大型语言模型与人类价值观的结构对齐、用户与模型之间的相互作用以及语言的交际导向性是当前研究的主要关注点。

Dec, 2023

通过庞大的语言模型，我们探讨了其相对成功不是符号与亚符号之争的反映，而是利用大规模的逆向语言工程的成功自下而上策略的反映。然而，由于其亚符号本质，这些系统对语言的所有了解总是淹没在无意义的数百万个权重之中，这使得这些系统变得无法解释。此外，由于其随机性，大语言模型在需要进行内涵、时间或情态推理的不同语言环境中往往无法进行正确的推理。为了解决这些缺点，我们建议在具有符号设置的情况下采用与大语言模型相同的成功自下而上策略，从而实现可解释、语言无关和本体论基础的语言模型。

Jun, 2024

对语言模型执行对齐过程会改变其输出分布的多个属性。研究分析了语言模型响应的对齐后分布漂移的两个方面，发现对齐过程抑制了无关和无用的内容，将输出分布转向覆盖基础语言模型中多个响应的信息，从而在单个响应中提供多样化的信息。此外，研究还表明基础模型可以通过上下文示例和低分辨率的语义提示来产生与对齐模型相似的响应，进一步证明了对齐技术对基础语言模型的有用行为进行了捕捉，切实模拟了对齐后的语言模型响应，而无需进行精细调整。

Jun, 2024

我们研究了大型语言模型（LLM）如何通过原因来解释其生成的模式，它们是从输入文本中提取出来的一组标记，反映了LLM的决策过程。我们使用两种方法提取LLM原因：1）基于归因的方法使用注意力或梯度来定位重要的标记，以及2）基于提示的方法使用提示来引导LLM提取原因。通过广泛的实验，我们展示了基于提示的原因与人工注释的原因更好地对齐，即使模型性能差，也能合理地与人类对齐。此外，我们还发现基于提示的方法的忠实度限制可能与它们的折叠预测有关。通过在相应的数据集上微调这些模型，无论是提示方法还是归因方法都展现了更好的忠实度。我们的研究为更严格和公正地评估LLM原因提供了启示，尤其是基于提示的方法。

Jun, 2024

本文介绍了语言建模的社会语言学视角，论述了大规模语言模型本质上是语言的各种变体，并探讨了该视角如何在语言建模的开发和应用中发挥作用。我们首先提出了社会语言学中对语言变体的概念的技术定义，然后讨论了这一视角如何帮助解决语言建模中的五个基本挑战：社会偏见、领域适应、对齐、语言变化和规模。最终，我们认为为了最大程度地提高大规模语言模型的性能和社会价值，需要精确定义和编制能够准确代表正在建模的特定语言变体的训练语料库。

Jul, 2024

本研究针对大型语言模型（LLM）在对齐方面的挑战，提出了一种利用弱LLM的创新方法。实验结果显示，弱LLM能够生成与全人类标注数据相媲美甚至优于的反馈，揭示了模型规模对反馈有效性影响的最小化，从而为可扩展和可持续的对齐策略提供了新视角。

Sep, 2024