May, 2018

半监督学习的输入和权重空间平滑化

PDF
TL;DR本文提出了一种半监督学习的正则化方法，同时作用于输入空间和权重空间，通过组合已知输入空间平滑和基于 min-max 最优化的权重空间平滑，提出了 Adversarial Block Coordinate Descent 算法，使用相对简单的架构，无需重型数据增强，实现了与最先进技术可比的性能。
semi-supervised learningregularizationinput spaceweight spaceadversarial block coordinate descent
发现论文，激发创造
  • 核梯度下降学习中的随机平滑正则化

    本文提出了随机平滑正则化的框架，通过使用卷积平滑核作为正则化方法，可以在 Sobolev 空间上最优收敛，并且可以适应底层数据的结构假设，从而避免维度灾难。

    May, 2023

  • 通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

    关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

    Aug, 2023

  • 从输入空间决策面视角解读对抗性鲁棒性

    本文研究神经网络广义化的一个假说，指出参数空间的损失曲面与广义化并没有明显关系，而在对抗特性下，决策面在输入空间的几何性质与对抗稳健性相关，进而提出了一个对抗稳健性指标和相应的对抗训练方法，可提高神经网络对各种对抗攻击的稳健性，无需对抗性训练。

    Sep, 2018

  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 深度权重空间中的数据增强

    通过研究数据增强技术，以解决在权重空间进行学习时所面临的过拟合问题，本文提出了一种基于混合方法的新的增强方案。评估了这些技术在现有基准以及新生成的基准上的性能，为未来的研究提供了有价值的参考。

    Nov, 2023

  • 语义分割的无监督域适应中的潜空间正则化

    本文提出一种特征级别的空间塑形正则化策略来减少语义分割中的域差异，从而在自动驾驶设置中实现了多种合成到实际路景基准的最先进结果。

    Apr, 2021

  • 通过增强实现权重空间网络的改进泛化

    分析神经网络的深度权重空间（Deep Weight Spaces，DWS）中的过拟合问题，针对该问题提出数据增强和自监督对比学习方法，并在分类和自监督学习中证明了其有效性。

    Feb, 2024

  • 虚拟对抗训练：一种用于监督学习和半监督学习的正则方法

    提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向，因此适用于半监督学习。在多个基准数据集上，通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。

    Apr, 2017

  • 深度网络中的对称不变优化

    本文提出了两种基于对称不变梯度的权重更新方式，使用这些方式进行学习可以提高测试性能而不损失权重更新的计算效率。在 MNIST 数据集上，我们的实验证据表明这些更新有效，并且我们还展示了在图像分割问题上采用这些权重更新方法的训练结果。

    Nov, 2015

  • 基于紧致潜空间聚类的半监督学习

    本文介绍了一种新的成本函数来进行神经网络的半监督学习，该函数通过动态创建一个图形来捕获特征空间中的潜在结构，并使用标签传播来估计其高和低密度区域，最终利用马尔科夫链设计出一种成本函数，以形成每类一个单一的紧凑簇，同时在优化过程中避免扰乱现有的簇，该方法在三个基准测试中表现良好，将基于图形的正则化的优点与高效的归纳推理相结合，不需要修改网络架构，可以轻松应用于现有网络，实现对未标记数据的有效利用。

    Jun, 2018