本论文在研究深度神经网络的高层特性时,发现高层单元与随机线性组合之间没有明显差别,并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。
Dec, 2013
本文研究卷积神经网络的迁移学习,在多个视觉识别任务上通过优化训练参数和特征提取参数达到了显著提高。同时提出了根据任务与源任务的距离将视觉识别任务进行分类的方法。
Jun, 2014
该论文提出了一种名为ACU的卷积单元,其形状可以通过反向传递的方式学习,具有比传统卷积单元更大的灵活性和更好的性能,可用于各种数据集和架构。
Mar, 2017
通过研究不同种类的数据集上的深度神经网络,发现其依赖单方向的能力是其泛化性能的良好指标,并且批处理归一化可减少单方向的依赖性,但单方向的选择性对任务重要性的预测不佳。
Mar, 2018
探讨了深度神经网络中具有重要作用的个体单元和它们在网络泛化方面的贡献,提出了一种新的代表替换方法(RS)来理解解释单元不被视为关键因素的矛盾现象,并通过实验证明了RS对理解DNN网络的独立性和关系具有新的启示意义。
Jan, 2019
通过直接对类别选择性进行正则化或反对类别选择性,可以提高卷积神经网络的测试准确率,表明个体神经元的类别选择性既不充分也不必要,并且可能会损害深度神经网络的性能。此外,结果还表明,我们需要谨慎地关注单个神经元的属性,以代表深度神经网络的功能机制。
Mar, 2020
本文介绍了一个分析框架——网络分解,通过该框架系统地识别图像分类和图像生成网络中单个隐藏单元的语义,作者使用该框架分析卷积神经网络和生成对抗网络模型并应用于理解对抗攻击和语义图像编辑。
Sep, 2020
通过使用代数拓扑工具,通过计算拓扑熵来量化卷积神经网络(CNN)中单个单位的状态,并且已经证明特征熵对于不同网络中的单元给出了准确的状态指示,并可以通过仅研究训练数据上的特征熵来鉴别具有不同泛化能力的网络。
Mar, 2021
使用单张图片作为输入,通过知识蒸馏和图像增强技术训练神经网络,研究神经网络对视觉世界的学习能力,发现通过这种方法可以在多个数据集上实现较高的图像分类和目标识别精度。
Dec, 2021
通过实验证明,早期训练中出现的类别选择性神经元在初始训练阶段对网络功能是有利的,因为它们是分类任务的准线性快捷解决方案。但在后期训练阶段,对其进行抑制对最终准确性影响较小,因此需要进一步研究早期训练中类别选择性神经元的机制是如何促进网络的成功训练的。
May, 2023