- 具有 Tsetlin 机组合的高级图像处理优化工具箱
本文通过引入 TM Composites 架构和一系列的 TM Specialists,利用各种图像处理技术,进行了 CIFAR-10 的图像分类任务,达到了 82.8% 的准确率,为 Tsetlin Machine 应用和进一步的 TM - 利用群组并行联邦学习提升客户参与度
通过将网络划分为较小的分区或队列,CPFL 提出了一种新的学习方法,其中每个队列独立地使用 FL 来培训全局模型,直到收敛,然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行 - 单个 GPU 上 3.29 秒达到 CIFAR-10 的 94% 准确率
以 CIFAR-10 数据集为例,本研究通过引入训练方法,利用单个 NVIDIA A100 GPU 在 3.29 秒内达到 94% 的准确率,在 10.4 秒内达到 95%,在 46.3 秒内达到 96% 的准确率,其中水平翻转增强的非随机 - ECCV自监督半监督学习与图像上色的 Color-$S^{4} L$
本研究采用了多种有效的自监督先行任务,探索了一种新颖的自监督半监督学习框架(Color-$S^{4} L$),在图像着色代理任务中深入评估了各种网络架构的性能,并与之前的监督和半监督最优方法在 CIFAR-10 数据集上进行了有效性和最优性 - 具有实例相关噪声标签的联邦学习
该研究讨论了在联邦学习中处理有噪标签的困难以及实例相关噪声的更具挑战性问题,提出了一种名为 FedBeat 的新算法,通过建立全局一致的分类器来解决这一问题,并且在实验中证明了该方法明显优于现有的其他方法。
- 加速卷积神经网络剪枝的空间灵气熵
我们提出了一种改进 CNN 剪枝的方法,通过使用空间灵气熵来改善互信息的计算,以提高剪枝的鲁棒性和效率。在 CIFAR-10 基准数据集上的实验结果展示了我们方法在剪枝性能和计算效率方面的优越性。
- DiffAttack:扩散反对抗净化的逃避攻击
在这篇论文中,我们提出了一种统一框架 DiffAttack,用于对基于扩散的净化防御进行有效和高效的攻击,包括 DDPM 和基于分数的方法。我们通过在中间扩散步骤引入偏差重建损失来解决梯度消失 / 爆炸问题,提供了一种分段转发 - 反向传播 - 非可分目标函数的 DP-SGD
使用新的 DP-SGD 变体解决相似性损失函数的梯度敏感度随着批量大小增长而增加的问题,并在 CIFAR-10 预训练和 CIFAR-100 微调任务中得到了与非私有模型接近甚至优于直接应用于相似性损失的 DP-SGD 的性能。
- 成功深度学习的普遍底层机制
通过量化测量每个层的单个滤波器的质量,基于 CIFAR-10 上的 VGG-16 的有限深度架构和数据集的成功深度学习的潜在机制被提出,并验证了对 CIFAR-100 和 ImageNet 数据集上训练的 VGG-16 和 Efficien - 补丁不是全部所需
我们提出了一种新的模式转换器 (Pattern Transformer),通过卷积神经网络从输入图像中提取各种模式,将每个通道表示为一个独特的模式,并将其作为视觉令牌输入到后续的 Transformer 模型中,从而实现对图像的自适应转换。 - ICML神经元实际上被折叠了吗?神经表示中的细粒度结构
研究发现,在训练良好的神经网络中观察到神经坍塌现象,并提出即使当看起来的神经表示坍塌时,微小的剩余变化仍然可以忠实准确地捕捉输入分布的内在结构。
- DiffWA: 水印攻击的扩散模型
本文提出了一种基于条件扩散模型的去水印攻击方法 DiffWA,该方法在未带水印的图像上训练了一个图像到图像的条件扩散模型,并在采样时使用距离引导指导模型生成类似于原始图像的未带水印的图像,实验结果表明,本方法能够有效地去除水印并提高水印提取 - 高效的 ResNets: 残差网络设计
本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类,通过一些训练策略和合适的超参数,最终测试准确率达到 96.04%。
- 深度平衡模型对抗鲁棒性的更深入探究
使用中间梯度的方法对 Deep Equilibrium Models 进行白盒攻击与评估,提高了其对抗攻击的鲁棒性,实验证明其在 CIFAR-10 数据集上的性能与同等规模的深度神经网络竞争力相当。
- LLMatic: 基于大型语言模型和质量多样性优化的神经架构搜索
本文介绍了如何将大型语言模型与品质多样性算法相结合进行代码生成,并使用 LLMatic 算法在 CIFAR-10 图像分类基准测试中展示了它可以在不需要先前知识的情况下生成性能良好的神经网络。
- 对抗训练是否需要完整的训练数据?
该研究使用一个基于样本性质筛选的简化训练方法,在保持分类结果鲁棒性不变的情况下,将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。
- 一致性扩散模型:通过学习一致性来缓解采样漂移
提出基于一致性约束的得分匹配方法,实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。
- 机器遗忘使伪装中毒攻击变得隐蔽
在机器重学习等场景中,我们介绍伪装数据污染攻击,一种新的攻击方式,其步骤包括添加一些精心构造的点到训练数据集中,并在之后的请求中删除其中的一部分,从而导致模型的预测产生负面影响,我们考虑的是在包括 CIFAR-10、Imagenette 和 - 利用紧线性逼近证明卷积神经网络的鲁棒性
本文提出了一种紧线性逼近方法 (Ti-Lin) 来验证卷积神经网络的稳健性,使用 MNIST,CIFAR-10 和 Tiny ImageNet 数据集对 Ti-Lin 进行评估,结果表明 Ti-Lin 明显优于其他五种最先进的方法,对纯 C - CVPR卷积滤波器视角下的对抗性鲁棒性
在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中,发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器,且具有更高的分类精度,需要更深层网络结构来实现,此方法也被成功地应用于 CIFAR-10 数据集中。