- CVPR迈向组合性对抗性鲁棒性：将对抗性训练推广到复合语义扰动
本文提出了一种新的生成组合对抗样本的方法和一种广义对抗训练方法，能够实现模型对多种组合语义扰动的鲁棒性，包括色调、饱和度、亮度、对比度和旋转等，并在 ImageNet 和 CIFAR-10 数据集上具有显著性能优势。
- ICML自监督神经架构搜索用于不平衡数据集
该文提出了一种基于自监督神经结构搜索技术的框架，用于处理非平衡数据集的情况，每个组件都能在资源受限的设备上（如单个 GPU）运行，实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳，同时使用的参数少 27 倍。
- ICML基于谐核分解的可扩展变分高斯过程
本文提出了一种新的可扩展的变分高斯过程近似方法，采用傅里叶级数将核作为正交核的和进行分解，利用这种正交性使众多诱导点具有低计算成本，能在回归和分类问题中利用输入空间的对称性，明显优于标准变分方法，并在 CIFAR-10 中取得与纯 GP 模 - ICML斜交卷积
通过使用 Skew Orthogonal Convolution（SOC）方法（一种梯度保持（GNP）卷积的优化算法），这篇论文在 CIFAR-10 数据集上获得了高准确度，同时提高了标准和认证的强健性。
- ICLR研究彩票票据剪枝掩模的一致性和组合性
本文研究了采用多轮训练的方式，是否能够提高特定体系结构的准确度与稀疏性之间的平衡，并在共享的 ResNet-20 初始化的基础上使用不同的 SGD 数据顺序训练多个网络副本来实现。我们的实验结果显示，采用多轮训练的思路与一次性的基于幅度裁剪 - 视觉 Transformer 能否在没有自然图像的情况下进行学习？
本研究提出了一种无需自然图像和人工注释的 ViT 预训练框架，实验证明与 SimCLRv2 和 MoCov2 等复杂的自监督学习方法相比，在不使用任何自然图像的情况下部分优于自然图像预训练的 ViT，并可以大部分解释自然图像数据集，特别在 - 山口爬升领域神经架构搜索的新框架
本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96％的 - ICLR对抗训练的技巧
本文研究了对抗训练中常常忽视的训练技巧和超参数的影响，发现对于鲁棒性的影响比以往认为的更加敏感，如微调权重衰减值可能会使模型鲁棒性下降超过 7%，而与此同时，我们基于这些发现重新设计了一个基线模型并获得了目前最优的结果。
- ICLR强健的生成对抗网络
本文提出了一种通过在小的邻域内促进局部鲁棒性来提高生成对抗网络的泛化能力的方法，并在 CIFAR-10 数据集上的实验表明，该鲁棒性生成对抗网络能够显著而一致地改善五个基线模型。
- 规模化流水线反向传播：无批量训练大型模型
本文研究了深度神经网络的硬件加速器，并提出了一种具有硬件优势的异步管道并行训练算法。通过引入 Spike Compensation 和 Linear Weight Prediction 两种方法，它有效地减轻了由 Pipelined Bac - CVPR在四个 GPU 小时内寻找强韧的神经网络结构
通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。
- 关于初始大学习率在神经网络训练中正则化作用的解释
通过大学习率 SGD 与 Annealing 方案推出二层神经网络；结果表明，相比小学习率模型，它更好地推广了不容易泛化的模式，并通过实验演示使用 CIFAR-10 图像说明了该概念。
- AGAN: 自动设计生成对抗网络
本文提出了第一个专为 GAN 训练而设计的神经架构搜索算法 AGAN。通过 AGAN 在 CIFAR-10 数据集上的实验证明，该算法可以自动搜索到优于同一正则化技术下现有最先进模型的神经网络结构。在 $32 imes32$ 的分辨率下，该 - ICML剪枝和替换 NAS
本研究提出了 PR-DARTS 神经结构搜索算法，该算法能够在较大的搜索空间中发现强大的网络配置，并在一天内完成搜索，使用的是较小的候选操作池。在 CIFAR-10 和 CIFAR-100 上实验，其测试错误率分别为 2.51% 和 15. - Robust or Private？对抗训练使模型更容易受到隐私攻击
本文研究了对抗训练的对抗攻击容忍性与隐私攻击容忍性之间的关系，通过对 CIFAR-10 数据集进行三种不同类型的模型反演攻击，揭示了对抗训练模型输入空间存在的问题。
- MM无标签数据提高对抗鲁棒性
通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 - ICML梦境蒸馏：一种数据独立的模型压缩框架
本文提出了一种基于 Dream Distillation 的数据无关的模型压缩框架，能够在没有数据训练的情况下，在 CIFAR-10 测试集上达到 88.5% 的精度。
- BayesNAS: 一种用于神经结构搜索的贝叶斯方法
本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度 - 无限宽神经网络的精确计算
本篇研究开发了第一个高效精准计算卷积神经网络中神经切向核（NTK）扩展，即卷积 NTK（CNTK），并使用 GPU 实现，相较于其他方法在 CIFAR-10 上表现出明显优势，仅比与之对应的有限深度网络结构低 6%；同时，提供了第一个非渐近 - NAS-Bench-101：面向可重复的神经网络架构搜索
本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还