电阻式存储器中噪声对图像分类深度神经网络的影响
介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法,并提出了一种基于批标准化参数的补偿技术,可以在映射到 PCM 后实现分类精度高达 93.7% 的 CIFAR-10 数据集和 71.6% 的 ImageNet 基准测试的 top-1 精度。
Jun, 2019
通过在卷积残差网络中引入长短时记忆机制,增强了记忆机制加强卷积神经网络的性能,使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术,并且在 CIFAR-10 和 SVHN 基准测试上与之相当,而且相比于深度相当的深度残差神经网络,网络宽度更大,深度更小,总体计算量更少。
Jun, 2016
本文研究深度学习中记忆化的作用,探讨了容量,泛化,对抗鲁棒性的联系。作者的实验表明,深度神经网络在优化噪声数据和真实数据时存在数量上的差异,但经过适当的正则化调整(如 dropout),我们可以降低其在噪声数据集上的训练性能,同时不影响在真实数据上的泛化能力。研究结果表明,数据集本身在决定记忆化程度时具有重要作用,而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。
Jun, 2017
卷积神经网络在大量标记数据可用时表现出广泛的适用性,然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响,并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本,发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助,但训练成本却显著增加。
Jan, 2024
近期,关于储层计算的研究取得了重大突破,需要具有能够实现储层物理实现的动力学的模拟装置,以实现更快的信息处理速度、更低的能量消耗和较小的面积占用。通过电压相关动态的离子通道基础箱体,我们展示了只需一次数据编码并通过一个包含具有不同动力学特性的多个箱体的储层层的数据输入方法的可行性,并通过实验证明了这种方法的预测和分类准确率高于传统方法。
Oct, 2023
本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得 CNN 可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变 batch size 并不会对分类性能有明显影响。
Mar, 2019
利用学习到学习框架,本文成功识别出膜电位的行为特征和最优超参数,这些特征与以前的研究相吻合,这表明 memristive reservoirs 可以模拟尖峰神经元的膜电位行为,并且可以作为尖峰电流和连续过程之间的接口。
Jun, 2023
该研究探讨了标签噪声分类器的稳健性,旨在提高模型对复杂实际场景中的噪声数据的抵抗能力,并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023
本文扩展了设计空间探索 (DSE) 方法,量化了稠密和稀疏映射方案在各种网络架构中的效益和局限性,同时还研究了 1T1R 平铺存储器中引入的非理想因素及其影响。
Jan, 2022