本文研究了离散提示在下游自然语言推理任务中的鲁棒性，通过应用 AutoPrompt 并在两个自然语言推理数据集中测量其表现，发现尽管基于离散提示的方法对自然语言推理输入的扰动相对较为鲁棒，但对提示令牌的移动和删除等其他类型的扰动非常敏感，而且其在不同的自然语言推理数据集上的泛化能力较差。

Feb, 2023

研究现代自然语言处理模型中对于不同的输入扰动如何表现更差，进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。

Oct, 2021

通过离散提示嵌入的方法，我们提出了一种构建连续提示的新方法，以提高连续提示的可解释性和推理准确性，验证了在自然语言理解任务中使用线性组合这些提示会获得更好性能的权重预测模型。

Dec, 2023

通过增加 Gumbel 噪声扰动的规模参数和引入特定于随机离散 - 连续计算图的 dropout 残差连接，可以训练复杂的离散 - 连续模型，且其泛化能力优于连续模型。

Jul, 2023

本文研究基于深度学习的文本分类模型（CNN、LSTM 和 BERT）在面对有意义但与最终性能无关的输入扰动（如标点符号和停用词）时的表现，发现包括 BERT 在内的这类模型都很敏感，特别是对于输入扰动的删除尤其受影响。

Jan, 2022

本文提出了一种名为学习鉴别扰动 (DISP) 的新框架，用于识别和调整恶意扰动，以此来阻止文本分类模型的对抗攻击。DISP 可以有效地阻止对任何 NLP 模型的对抗攻击，而无需修改模型结构或训练过程。在两个基准数据集上进行的广泛实验表明，DISP 在阻止文本分类的对抗攻击方面显著优于基准方法。此外，深入分析表明了 DISP 在不同情况下的鲁棒性。

Sep, 2019

为了研究对离散任务 fine-tuning 的紧凑替代方法，探讨了连续提示的离散（文本）解释的可行性，并提供了各种参数的实证分析结果，发现模型越大，出现更大的不规范现象，即可以发现更贴近任意文本的提示，而精确度下降更小。这些结果对于准确解读连续提示和其在模型和任务间的推广具有重要意义，并为未来的语言提示模型提供了指导。

Dec, 2021

该文提出了一种基于多任务和分层多任务学习框架，共同模拟连续和离散情感标签之间的关系，并展示了如何利用这种关系来提高情感识别任务的鲁棒性和性能。实验结果表明，我们的模型在两个广泛使用的数据集（IEMOCAP 和 MSPPodcast）上有统计显着的性能改进，并展示了该不匹配训练方法的实验结果和推理。

Oct, 2022

我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

Aug, 2021

本文提出了衡量 NMT 模型抗干扰性能的一些额外指标，并针对一类使用子单词规范化方法的模型进行了广泛评估，结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。

May, 2020