通过实验证明，内容安全问题角度来看，对齐对指令调整模型的性能有负面影响，尤其是在各种推理基准测试中，通过有对齐的答案进行调整会使性能下降4-33%。

Aug, 2023

通过细调大型语言模型 (LLMs) 进行定制以优化下游应用通常需要进一步在预训练的LLMs上进行微调。然而，此类自定义微调的安全成本是多少？我们的研究发现，尽管现有的安全对齐基础设施可以在推理时限制LLMs的有害行为，但当将微调权限扩展给最终用户时，它们却无法覆盖安全风险。我们的红队研究发现，只需使用少数恶意设计的训练样例对GPT-3.5 Turbo进行微调，就可能危及LLMs的安全对齐性。此外，我们的研究还揭示，即使没有恶意意图，只需使用良性且常用的数据集对LLMs进行微调，也可能无意中降低其安全对齐性。这些发现表明，细调对齐的LLMs引入了新的安全风险，而当前的安全基础设施无法很好地解决这些风险。我们概述并对潜在减轻措施进行了批判性分析，并倡导进一步的研究努力，以加强对齐的LLMs的自定义微调的安全协议。

Oct, 2023

通过暴露大型语言模型存在的缺陷输出并进行彻底评估，该研究提出了一种根据错误分析的新型对齐策略，以完全理解其内部原因，并将有害回应转化为模型对齐的指令调整语料库，从而不仅使LLMs不再产生有缺陷的回应，还可训练其自我批评，并利用其判别有毒内容的内在能力，实验结果表明，该方法在安全指令跟踪方面优于传统对齐技术，同时保持卓越的效率。

Oct, 2023

我们提出了一种后安全对齐（PSA）方法，以解决目前大型语言模型（LLMs）中脆弱和不平衡的安全机制问题，并且能够提升安全性、减轻过度安全性，并在保持实用性的同时无缝集成到目标LLM中。实验表明，这种方法不仅实现了比基准方法更全面和高效的后安全对齐，还增强了骨干模型的实用性，在当前对齐的LLMs中优化了有用性和无害性之间的平衡，同时在持续PSA场景下展示了其优越性。

May, 2024

通过精细调整的安全对齐技术，解决了大型语言模型在混合有害数据的数据集上进行微调后可能出现的问题，提出了一种双状态优化解决方案，引入了近端项来限制状态的偏移，实验证明这种方法可以显著提高对齐性能并保持用户任务上的准确性。

May, 2024

本研究解决了大语言模型在微调过程中存在的有害影响问题，提出了一种名为Booster的对齐阶段解决方案。该方法通过在优化过程中添加损失正则化，显著降低模型的有害评分，同时保持下游任务的性能。

Sep, 2024

本研究针对大型语言模型的有害微调问题，提出了一种新颖的解决方案。通过引入对抗性损失正则化，减轻有害扰动对微调过程的影响，实验证明该方法在降低有害评分的同时，保持了下游任务的性能。

Sep, 2024

本文研究了在对开源大语言模型进行微调时，恶意数据的引入如何影响模型的安全保护，尤其是这些数据是否会导致模型产生不安全的输出。实验结果表明，使用有害数据微调模型会显著提高不安全回应的比例（ASR增加35%），同时导致模型的可信度和稳定性下降，而使用安全数据微调则有效降低了不安全回应的比例（ASR下降51.68%）。

Sep, 2024

本研究解决了大型语言模型微调中存在的安全隐患问题，通过提出一种新颖的安全感知微调（SAFT）框架，自动检测和移除可能有害的数据样本。实验结果显示，该框架在多种语言模型和数据污染率下有效降低了有害性，最高达27.8%，具有良好的适用性和实用价值。

Oct, 2024

本研究解决了在微调大型语言模型（LLMs）时，现有安全对齐措施不足以降低安全风险的问题。提出的SafetyLock方法通过保留基础模型的安全激活表示，实现了在微调后保持强健安全性，其最显著的发现是可以将有害指令响应率从60%减少至1%以下，提供了一种可扩展的无侵入性安全保障方案。

Oct, 2024