- ICLR通过梯度正交化和特化来正则化表格神经网络的 TANGOS
引入基于潜在单元的正交化和专业化的表格神经梯度正交化和专业化 (TANGOS) 方法，用于表格数据，是防止过度拟合和提供强大的泛化性能的一种新的正则化框架，它可以导致更好的样外泛化性能。
- 通过激活函数的内在维度将正则化和泛化联系起来
本文研究了模型的内在维度对其泛化能力的影响，通过对验证集和训练集的表现进行分析，提出了通用的规则以改善在一个模型内提取特征数据时可能遇到的问题。
- 易于决定、难于协定：减少显著性方法之间的分歧
本研究探讨了神经 NLP 模型的黑匣子问题，发现排名相关性不适合于评估解释方法的一致性，提出了一个更加适合的选项 Pearson-r；通过研究 Easy-to-learn instances 的特点，我们发现增加信赖度可以提高解释方法之间的 - 关于利用差分隐私和经典正则化技术进行优化的效用与保护
该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
- 基于半监督开放集的三维点云理解学习
本研究提出了一种基于样本加权的半监督 3D 点云学习方法，通过双层优化框架估计权重并引入三种正则化技术，提高了模型的稳定性和准确性。实验结果表明该方法在 3D 点云分类和分割任务中具有有效性和可行性。
- CVPR基于视觉 Transformer 的免样例持续学习：注意力、功能和权重正则化分析
本文采用规则化技术研究视觉 Tansformers 的连续学习，特别关注其关键自注意机制的知识如何进行高效凝结。作者对比两种 Method 的性能，提出了一种可能具有 Plasticity 和 Stability 的新方法，实验证明本研究提 - 神经网络权重的逐比特训练
介绍了一种学习表示神经网络权重的个别位的算法，允许对任意位深度的整数值进行训练，无需额外的约束或正则化技术，自然地发现了稀疏网络。证明了在选择性地训练位的情况下，实现高准确度的最大贡献来自前三位最重要的位，而其余位则提供内在的正则化。因此， - 使用视觉 Transformer 训练 GANs 的 ViTGAN
本文研究在生成对抗网络中引入 Vision Transformers (ViTs) 架构，并通过引入创新的正则化技术（ViTGAN）解决现有正则化方法与自注意力交互不良的问题，实验表明 ViTGAN 在 CIFAR-10，CelebA 和 - 优化良好的简单神经网络在表格数据集上表现优异
本论文研究在神经网络中，如何利用 13 种正则化技术来优化多层感知机（MLP）在 40 个表格数据集上的性能，并证明了良好正则化的 MLP 可以明显优于最新的神经网络架构和传统机器学习方法。
- ICLR深度学习中的影响函数非常脆弱
本文举行了一项大规模实证研究，详细探究了影响函数在神经网络模型中的成功和失败，在浅层网络中影响估计值相对准确，在深层网络中影响估计值通常是错误的，特定的神经网络结构和数据集，训练时使用重量减退正规化很重要以获得高质量的影响估计。
- 图像分类器后门数据污染攻击的系统评估
本文系统评估了包括触发器模式、回归技术、模型体系结构及数据集在内的不同实验条件，并研究后门数据污染攻击的成功率及其可被检测的难度。
- ICML通过控制神经网络权重中的标签噪声信息来提高泛化能力
研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-1 - 有选择性的噪声注入和信息瓶颈在强化学习中的泛化
研究了 RL 领域中常用的一些 regularization 技术，并提出一种名为 Selective Noise Injection（SNI）的技术，将注入噪音的正则化作用维持在一定范围内，同时缓解梯度下降的不良影响。另外还提出了结合信息 - ICLR生成对抗网络的一致性正则化
本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器，通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度，以在不增加显着计算开销的情况下，为无条件和有条件图像生成提供最佳结果。
- ICLR策略优化中的正则化问题
通过深度强化学习的控制任务，对传统正则化技术在多种优化算法中的应用及效果进行综合研究，发现传统的正则化技术能够改善学习效果，特别在较难的任务中，说明正则化有助于强化学习中的泛化表现。
- 通过算子聚类进行层次化神经结构搜索
通过发现算子相关性和复杂度差异对 DARTS 的遗传性问题进行了解决，提出了一种新的分级搜索算法，该算法用于不同的搜索空间中都能找到最佳的性能架构。
- 混合样本增强与对抗领域自适应提高基于深度学习的膝关节 MRI 图像分割的鲁棒性
本文研究如何通过深度学习与正则化技术来在磁共振成像（MRI）数据中分割膝盖关节软骨，并在两个镜头数据集上进行验证，结果显示，在中度改变膝 MRI 数据采集设置时，mixup 和 UDA 方法可能提高其鲁棒性。
- 深度半监督学习中的伪标记和确认偏差
提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。
- ICML透过损失函数几何理解对抗鲁棒性
本研究探索了使用对抗训练数据增强作为显式正则化技术的后果，发现这种经常使用的对抗增强技术实际上并没有导致更平的损失平面，需要重新思考对抗训练泛化以及泛化和损失平面几何之间的关系。
- ACL噪声用户生成文本的词性标注领域自适应
使用神经网络实现 POS 标注器，通过领域自适应和正则化技术，在德语推文数据集中实现高于 90% 的标注准确度。