我们的研究揭示了大型语言模型在面临对抗性攻击时的脆弱性的根源，质疑仅仅依赖复杂的对齐方法的有效性，并进一步主张将模态概念与传统的非模态概念相结合，为大型语言模型赋予对现实世界环境以及伦理考虑更细致的理解。

Nov, 2023

对语言模型执行对齐过程会改变其输出分布的多个属性。研究分析了语言模型响应的对齐后分布漂移的两个方面，发现对齐过程抑制了无关和无用的内容，将输出分布转向覆盖基础语言模型中多个响应的信息，从而在单个响应中提供多样化的信息。此外，研究还表明基础模型可以通过上下文示例和低分辨率的语义提示来产生与对齐模型相似的响应，进一步证明了对齐技术对基础语言模型的有用行为进行了捕捉，切实模拟了对齐后的语言模型响应，而无需进行精细调整。

Jun, 2024

通过直接操纵开放源代码的大型语言模型的生成过程，我们展示了它们容易被引导生成不受欢迎的内容，包括有害或有偏见信息甚至私人数据，这表明需要更先进的开源语言模型缓解策略。

Oct, 2023

通过理论分析学习动态，我们提供了对人类偏好对齐的理论观察，揭示了优化算法可能优先考虑具有更高偏好区分度的行为，并通过实证验证对现代语言模型和对齐任务加深了对未来方法的认识。

Mar, 2024

本文提出了一种名为行为期望范围（BEB）的理论方法，用于正式研究大型语言模型对齐的几种固有特性和限制，揭示了 LMM 对齐的根本局限性，并凸显了确保 AI 安全的可靠机制的必要性。

Apr, 2023

大型语言模型（LLMs）的对齐方法研究，包括外部和内部对齐方法，探讨了其可解释性和对抗攻击的潜在漏洞以及评估方法，并展望了未来的研究方向。

Sep, 2023

通过实验证明，内容安全问题角度来看，对齐对指令调整模型的性能有负面影响，尤其是在各种推理基准测试中，通过有对齐的答案进行调整会使性能下降 4-33%。

Aug, 2023

通过细粒度的分词级监督来增强预训练的大规模语言模型（LLM）的对齐，该方法可提高 LLM 性能的绝对改善率高达 5.1％，与传统的 PPO 模型相比，训练集是通过最小编辑来改善标准奖励模型数据集中较不受欢迎的回答，以确保在必要的地方进行改动，同时保留大部分原始内容。

Jun, 2024

在本研究论文中，作者通过探索多种方法来与人类偏好对齐语言模型，包括基于贝叶斯推理的方法、基于反馈的加强学习和分布匹配等，从而展现了与强化学习反馈不同且互补的对齐技术的潜力。

Apr, 2024

我们的研究探索了在精调过程中地面真实响应风格的影响，发现将地面真实响应风格与大语言模型固有的风格匹配能产生更好的学习效果。基于这个发现，我们开发了一种方法，通过最小化改变大语言模型的现有响应来纠正错误，并将这些调整后的响应作为训练目标。这种技术能够实现与模型的本地响应风格相一致的精确修正，保护模型的核心能力，从而避免过拟合。我们的发现表明，这种方法不仅提高了大语言模型在特定任务上的准确性，而且关键地保持了其原始的能力和有效性。

Feb, 2024