无监督表示学习的鲁棒性
This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.
Jul, 2023
通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。
May, 2019
本文通过系统的文献综述，收集了 86 篇相关文献。结果表明，大多数的研究都集中在隐私攻击上，虽然有有效的防御手段，但是很多攻击缺乏有效和普适的防御措施。基于这些结果，我们提出了针对无监督学习攻击的模型，为未来的研究提供了一个可供使用的模型。
Jun, 2023
研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。
May, 2019
本文提出了一种名为 REED 的新方法来解决卷积神经网络在存在噪声标签时训练的挑战，该方法通过无监督学习获取表示，通过分类器的半监督自训练解决噪声标签学习问题，并联合半监督重新训练表示和分类器，实现了对噪声标签的鲁棒性，大量实验结果表明，该方法在高噪声水平下可以显著击败现有的最先进方法。
Nov, 2020
无监督表示学习在处理高维数据模态时受限于数据特异性的稳定性和拓扑性，而生物智能系统却没有这样的限制。我们引入了一个新的框架，从缺乏稳定性和拓扑性的高维数据中进行学习，通过可学习的自组织层、密度调整的谱聚类和掩码自编码器的结合，我们的模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型在不依赖于稳定性和拓扑性的情况下能更好地学习到有意义的表示，也胜过了其他与这些因素无关的方法，从而在该领域开辟了新的基准，这项工作是迈向能够在不同高维数据模态之间泛化的无监督学习方法的一步。
Oct, 2023