使用自降噪技术为大型语言模型提供认证的鲁棒性

Jul, 2023

使用自降噪技术为大型语言模型提供认证的鲁棒性

Certified Robustness for Large Language Models with Self-Denoising

Zhen Zhang, Guanhua Zhang, Bairu Hou, Wenqi Fan, Qing Li...

TL;DR本文提出了一种新的针对大型语言模型的认证健壮方法，提高了模型的认证健壮性和预测稳定性，比现有认证方法表现更优秀，实验结果表明该方法在经验证健壮性和实证健壮性方面均优于现有认证方法。

Abstract

Although large language models (LLMs) have achieved great success in vast real-world applications, their vulnerabilities towards noisy inputs have significantly limited their uses, especially in high-stake environments. In these contexts, it is crucial to ensure that every prediction m

large language models certified robust llms randomized smoothing self-denoising empirical robustness

发现论文，激发创造

通过自去噪平滑提高大型语言模型的稳健性

大型语言模型 (LLMs) 的漏洞性导致对抗性扰动攻击，而随着模型规模的增加和有限的访问权限，提高模型的鲁棒性变得很困难。我们提出了一种称为自修复平滑的方法，通过利用 LLMs 的多任务性质，首先去噪噪声输入，然后基于这些去噪版本进行预测，以提高模型对噪声数据的鲁棒性。实验结果表明，我们的方法在防御对抗攻击方面超过了现有方法，在下游任务和用户对齐方面都具有较好的鲁棒性。

Apr, 2024

大型语言模型在噪声鲁棒性语音识别中的高效学习

通过引入噪声条件器和知识蒸馏方法，我们提出从 N-best 列表中提取语言空间噪声嵌入，以增强噪声鲁棒性和改善识别结果的方法。实验证明该方法在有限的训练数据下，可以获得高达 53.9% 的纠错率改善，表现出强大的语言空间降噪能力。

Jan, 2024

机器翻译模型是否在不被察觉的情况下变得更加健壮了？

通过对多语种机器翻译模型和大型语言模型在噪声输入情境下的实验研究，我们发现这些模型相比以往模型对各种噪声更加稳健，尤其是在处理干净数据情况下表现相似的情况下。我们还展示了这种趋势在社交媒体翻译实验中同样存在，同时分析了源文本校正技术在减轻噪声影响方面的应用情况。综上所述，我们展示了对于多种类型噪声的稳健性有所增强。

Mar, 2024

集体鲁棒认证的本地随机平滑

本文提出了一种基于新型局部化随机平滑方法的更普遍的模型合集鲁棒性认证方法，并在图像分割和节点分类任务上得到更高的准确性和更强的认证。

Oct, 2022

鉴别式语言模型预训练的实例正则化

该研究提出了一种新的语言模型预训练方法，通过估计原始语句与噪声语句之间的复杂度以及修复被破坏的语句对预训练进行优化，实现了自然语言理解和阅读理解方面的效率、效果和鲁棒性的提高。

Oct, 2022

估算和提高语言模型的强健性的方法

通过研究大型语言模型的泛化能力问题以及多种提高其分布韧性的方法，本文提出了未来改进大型语言模型鲁棒性的研究方向。

Jun, 2022

LSTMs 在可编程转换下的认证鲁棒性

该论文提出了一种通过使用字符串转换语言来扩展鲁棒性证明的方法，成功地训练了比现有技术更鲁棒的模型，并且可以高精确度地证明模型的鲁棒性。