文本的鲁棒性表示学习

Sep, 2016

Learning Robust Representations of Text

Yitong Li, Trevor Cohn, Timothy Baldwin

TL;DR通过基于正则化的方法，限制深度神经网络对其输入的敏感性，从而学习出更加鲁棒的模型，实验表明这种方法在情感分析方面具有优秀的性能，尤其在处理有噪声和跨领域数据时，胜过基线模型和 dropout 方法。

Abstract

deep neural networks have achieved remarkable results across many language processing tasks, however these methods are highly sensitive to noise and adversarial attacks. We present a regularization based method f

deep neural networks regularization robustness sentiment analysis convolutional neural network

发现论文，激发创造

DNN 文本分类的有效标签噪声模型

本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得 CNN 可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变 batch size 并不会对分类性能有明显影响。

Mar, 2019

从人脑中学习如何正则化机器

通过使用大规模神经系统数据对卷积神经网络进行正则化来学习更强的神经特征，以提高模型对于对抗扰动和噪声的分类鲁棒性。

Nov, 2019

文本中健壮的深度神经网络：一项调查

本文对英语和中文文本领域的生成对抗性文本的对抗攻击和防御方法进行了全面的调查，并基于干扰单位对现有的对抗技术进行分类，从不同的自然语言处理任务的视角介绍了对抗技术，并从根源上探讨了领域中对抗攻击和防御的挑战和未来研究方向。

Feb, 2019

通过惩罚局部预测能力学习稳健的全局表示

本文提出了一种训练且具有鲁棒性的卷积神经网络的方法，通过惩罚较早层所学习的局部表示的预测能力，迫使网络丢弃色彩和纹理等可从局部感受野中获取的预测信号，并依靠图像的全局结构。在一系列综合性和基准领域适应任务中，我们的方法使泛化能力得到了改善。我们还引入了一个新的数据集 ImageNet-Sketch，以评估跨域传输。

May, 2019

使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

Sep, 2016

正则化方法的稳健性和不确定性的实证评估

本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估，指出某些正则化方法可以作为保证深度神经网络（DNN）鲁棒性和不确定性评估的强有力基线方法。

Mar, 2020

自然语言处理中对抗性防御和鲁棒性的调查

综述了最近几年针对 NLP 中深度神经网络面对对抗干扰的鲁棒性不足和易受攻击的挑战，提出了一种新的分类方法，介绍了不同的对抗防御方法和其在训练中作为正则化机制的应用，并指出了深度神经网络的脆弱性和对其进行防御面临的挑战。

Mar, 2022

文本隐私保护神经表示

本文主要研究基于深度学习自然语言处理中的对抗攻击，探讨攻击者如何通过窃取神经网络文本分类器的隐藏表示来获取敏感信息，为解决此问题，文章提出并论证多个防御方案，改进神经表示的隐私保护性能。

Aug, 2018

使用对抗神经网络学习匿名表示

本研究探讨基于表示学习和深度神经网络的匿名化方法，介绍了一种新的训练目标，同时训练一个预测器和防止中间表征成为私有标签的预测值。该三子网络的基架对应输入到表征、表征到预测的常规标签和表征到预测的私有标签。在保留有关常规标签的信息的同时，摒弃与身份有关的私人标签信息的学习表征，从而实现了有关分类与匿名化任务（手写数字和情感分析）的成功演示。

Feb, 2018

通过对抗训练来改善神经语言模型

使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

Jun, 2019