May, 2023

关于类别选择性神经元在早期训练中的特殊作用

PDF
TL;DR通过实验证明，早期训练中出现的类别选择性神经元在初始训练阶段对网络功能是有利的，因为它们是分类任务的准线性快捷解决方案。但在后期训练阶段，对其进行抑制对最终准确性影响较小，因此需要进一步研究早期训练中类别选择性神经元的机制是如何促进网络的成功训练的。
deep networksclass-selective neuronsresnet-50strainingclassification
发现论文，激发创造
  • 考虑选择性有害：评估深度神经网络中类别选择性的因果影响

    通过直接对类别选择性进行正则化或反对类别选择性，可以提高卷积神经网络的测试准确率，表明个体神经元的类别选择性既不充分也不必要，并且可能会损害深度神经网络的性能。此外，结果还表明，我们需要谨慎地关注单个神经元的属性，以代表深度神经网络的功能机制。

    Mar, 2020

  • 通过索引神经元选择性理解训练过的 CNNs

    本文为了帮助理解 CNNs 的黑盒特性以及它们构建的表示和这些表示如何组织，提出了通过神经元功能可视化描述神经元的活动，并用两个特定的属性量化它们固有的选择性，探索特定选择性指标，并建立了一个通过选择性属性对神经元进行索引的框架，可帮助找到颜色选择性神经元和类选择性神经元，从而在神经元索引方面提供了一种方法。

    Feb, 2017

  • 深度神经网络的选择性分类

    本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。

    May, 2017

  • 选择性卷积网络

    提出了一种动态选择机制的卷积神经网络，使每个神经元根据多个尺度的输入信息自适应地调整其感受野大小，该网络称为 Selective Kernel Networks (SKNets)，在 ImageNet 和 CIFAR 基准上表现优于现有的最先进架构，证明了神经元根据输入适应性地调整其感受野大小的能力。

    Mar, 2019

  • 神经网络的内部结构：基于功能神经元群和网络消融的学习表示特征表征

    本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。

    Apr, 2020

  • 类选择性、维数和鲁棒性之间的关系

    研究了深度神经网络中的稀疏表示和分布表示的权衡以及语义信息表示稀疏度的量化方法 - 类别选择性，并发现类别选择性降低有助于提高对数据污染的鲁棒性，但增加了对梯度对抗攻击的敏感性。

    Jul, 2020

  • 持续剪枝和选择：以专业子网络进行增量式分类学习

    研究人类大脑能够通过 Continual-Prune-and-Select (CP&S) 的 subnetwork 选择策略，在不产生灾难性遗忘并能跨 subnetworks 传递知识的情况下，使 DNN 顺序学习十项任务且准确率在 94% 以上，是一项在类增量学习方面的优异结果。

    Aug, 2022

  • SelectiveNet：具有集成拒绝选项的深度神经网络

    本论文介绍了 SelectiveNet，这是一种有集成拒绝选项的深度神经架构，通过同时优化分类（或回归）和拒绝，得到了一个在覆盖域上优化的深度神经网络，实验表明，SelectiveNet 在多个分类和回归数据集上均获得了改进的风险覆盖权衡效果，从而达到了深度选择分类的新的最佳结果。

    Jan, 2019

  • 关于单个方向对泛化的重要性

    通过研究不同种类的数据集上的深度神经网络，发现其依赖单方向的能力是其泛化性能的良好指标，并且批处理归一化可减少单方向的依赖性，但单方向的选择性对任务重要性的预测不佳。

    Mar, 2018

  • 神经网络训练的早期阶段

    本文研究神经网络学习的早期阶段，分析了神经网络在此期间的变化，发现深度网络在使用随机权重重初始化时不具有稳健性，但利用模糊输入或辅助自监督任务进行预训练即可近似监督网络的变化。

    Feb, 2020