从人脑中学习如何正则化机器
通过基于正则化的方法,限制深度神经网络对其输入的敏感性,从而学习出更加鲁棒的模型,实验表明这种方法在情感分析方面具有优秀的性能,尤其在处理有噪声和跨领域数据时,胜过基线模型和 dropout 方法。
Sep, 2016
本文提出了一种训练且具有鲁棒性的卷积神经网络的方法,通过惩罚较早层所学习的局部表示的预测能力,迫使网络丢弃色彩和纹理等可从局部感受野中获取的预测信号,并依靠图像的全局结构。在一系列综合性和基准领域适应任务中,我们的方法使泛化能力得到了改善。我们还引入了一个新的数据集 ImageNet-Sketch,以评估跨域传输。
May, 2019
卷积神经网络在图像生成、还原和修复中具有良好的性能,即使在没有训练数据的情况下,通过应用随机初始化的过参数化凸轮生成器拟合噪声和损坏的自然图像可以去除图像噪声。在这篇论文中,作者将这种现象归因于卷积网络的特定架构选择,即使用固定插值滤波器进行卷积,并证明早期停止的梯度下降可用于去噪和对其他逆问题进行正则化。
Oct, 2019
提出了一种使用组间抑制(group-wise inhibition)的卷积神经网络(CNN)正则化方法,通过处理具有不同激活分布的特征映射来考虑特征独立性,以实现对于严峻环境如腐败、对抗样本和低数据区域的稳健分类。
Mar, 2021
本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估,指出某些正则化方法可以作为保证深度神经网络(DNN)鲁棒性和不确定性评估的强有力基线方法。
Mar, 2020
通过结合生物神经元原理,使用基于神经科学的计算模型来增强训练效率和提高准确性,以推动组合感受野模型作为卷积神经网络的基础层,从而在 CIFAR-10、CIFAR-100 和 ImageNet-100 数据集上实现性能显著提升(平均提升 5%-10%)
Nov, 2023
本研究用深度学习卷积神经网络尝试预测视神经系统中的神经元反应,结果显示,CNN 能学到视网膜电路的生物学组成,且这些特征可以显示为视网膜节细胞传统感受野的空间瓦片,为研究神经回路的结构奠定了基础。
Nov, 2017
运用多任务学习方法使深度神经网络对图片失真有着较好的鲁棒性,研究结果表明,从灵长类的视觉皮层中提取归纳偏见,使神经网络更类似于人类视觉系统,提高了其在面对失真问题时的效率。
Jul, 2021
本论文提出了一种新的卷积神经网络训练策略,利用正则化方法实现了视频神经网络的时间稳定性不需要昂贵的运动估计或大量视频材料,同时可在架构不变的情况下进行微调,并证明该方法可以显著提高时间平滑性并增强泛化性能。
Feb, 2019
本文研究模仿灵长类动物视觉系统中的神经表征可以产生对抗性稳健的人工视觉系统的想法。通过攻击猴子脑活动的方法,发现猴子的视觉系统对抗扰动的敏感度与稳健训练的人工神经网络相当。
Jun, 2022