- 卷积科尔莫哥洛夫 - 阿诺德网络
这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络(Convolutional KANs),这是标准卷积神经网络(CNN)的一种创新替代方法,我们将科尔莫戈洛夫 - 阿诺德网络(KANs)中的非线性激活函数集成到卷积中,构建出一个新的层。我们在 - 白盒神经网络概念框架
该研究介绍了语义特征作为一种完全可解释的神经网络层的概念框架,并提出了一个证明概念模型,解决了 MNIST 相关子问题,该模型由 4 个这样的层组成,具有 4.8K 个可学习参数,模型易于解释,在没有任何形式的对抗训练的情况下,实现了与人类 - 数据有限或不平衡时,类似睡眠的无监督重播改善性能
研究表明,在训练数据有限或不平衡的情况下,通过添加睡眠阶段可以提高人工神经网络在 MNIST 和 Fashion MNIST 数据集上的准确性,指出睡眠期间潜在的突触权重动态策略在训练数据受限或不平衡时有助于增强记忆表现。
- PBSCSR:钢琴仿制乐谱创作者风格识别数据集
该研究介绍了 PBSCSR 数据集,用于研究钢琴乐谱的作曲家风格识别,包含 40,000 个 62x64 的乐谱图像、100,000 个 62x64 的乐谱图像以及 29,310 个变长乐谱图像。数据集的目标是提供一个像 MNIST 一样易 - 神经网络的零空间特性及其在图像隐写术中的应用
本文探讨神经网络的零空间特性,扩展了线性到非线性映射的零空间定义,并讨论了神经网络中的零空间存在。我们利用零空间的部分来欺骗神经网络,揭示了神经网络的内在弱点。我们描述了一种图像隐写术的应用,并通过在 MNIST 等图像数据集上的实验表明, - 卷积深度核机器
深度核机器(DKMs)是一种最近引入的核方法,具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案,并且开发和实验评估了多种模型变体,包括针对卷积 DKMs 设计的 9 种不 - ICMLFedFwd:无需反向传播的联邦学习
使用一种名为 FedFwd 的新方法,该方法在本地训练过程中通过层级局部更新参数来减少计算量,无需在训练期间存储所有中间激活值。在评估 MNIST 等标准数据集上,我们进行了各种实验,表明它与其他依赖于反向传播算法的联邦学习方法具有竞争力。
- 有限高斯神经元:通过使神经网络表达 “不知道” 来防御对抗性攻击
该研究介绍了有限高斯神经元 (Finite Gaussian Neuron) 的人工神经网络,用于对抗攻击,同时维持对真实数据的行为表现,相比于传统神经网络在随机化和快速梯度符号方法下预测更不自信,但在 MNIST 图片上 的准确度和自信度 - 扩散模型生成过程最优选择的探索:普通微分方程与随机微分方程对比
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用 SDE 模型生成样本的误差就会指数级下降,并且变化扩散系数可以 - 利用概率视角构建语义感知的对抗样本
本研究通过盒约束 Langevin Monte Carlo 方法引入了对抗性示例的概率观点,并提出了一种创新的基于语义约束的对抗性示例生成方法,证实了该方法在 MNIST 和 SVHN 数据集上可以有效地规避面向传统对抗攻击的强化对抗训练。
- 综合正向算法:将正向传递和浅层反向传播与局部损失相结合
该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法,并在 MNIST 数据库上进行了分类任务的测试,结果表明,使用提出的整合算法可以生成具有强健性等优势特征的神经网络。
- 对抗训练是否需要完整的训练数据?
该研究使用一个基于样本性质筛选的简化训练方法,在保持分类结果鲁棒性不变的情况下,将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。
- 一种用于随机双层优化的全一阶方法
本研究提出一种全一阶随机逼近方法用于解决双层无约束随机优化问题,该方法具有收敛性及优异的实际性能,并且可以使用动量辅助的梯度估计器进一步提高收敛速度。
- 利用紧线性逼近证明卷积神经网络的鲁棒性
本文提出了一种紧线性逼近方法 (Ti-Lin) 来验证卷积神经网络的稳健性,使用 MNIST,CIFAR-10 和 Tiny ImageNet 数据集对 Ti-Lin 进行评估,结果表明 Ti-Lin 明显优于其他五种最先进的方法,对纯 C - 大间隔 Softmax 中概率相关的梯度衰减
本文探究了在神经网络框架中常用的 Softmax,在训练过程中引入渐变衰减超参数控制概率相关的梯度衰减率。作者通过实验发现,梯度衰减率随置信概率上升而凸凹变化,且使用小梯度衰减的优化方式表现出类似于课程学习的顺序,可以说明较大间距的 Sof - 二元神经网络属性验证的混合整数规划方法
利用混合整数规划公式验证二值化神经网络 (BNN),检查其可行性、MNIST 数据集和飞机冲突避免控制器中的性质,并证明相较于全精度神经网络的最先进的验证算法,通过验证 BNN 节省的时间是值得的。
- 末隐藏层激活的非合理有效性对于对抗性稳健性的影响
研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果,并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。
- ICLR在线对抗攻击
本文将对深度学习模型的对抗攻击演化为数据流场景下的在线对抗攻击问题,提出了一个在线算法 Virtual + 并分析了算法竞争比例,在 MNIST 数据集上进行了实验。
- 一组简单卷积神经网络模型的集成以实现 MNIST 数字识别
使用三个简单的卷积神经网络,通过旋转和平移数据增强方式,实现了 99.91%的 MNIST 测试准确率,并提出了一个高效的集成方案来提高图像分类结果。
- ICLRReLU Code Space: 除了准确度以外评估网络质量的基础
我们提出了一个新的度量空间,基于截断汉明距离和 ReLU 激活码,并在 MNIST 数据集上进行实验,结果表明除准确率之外还有信息存储在代码空间中。