本文探讨了全连接前馈神经网络中隐藏节点的激活模式,提出了从两个信息处理系统,即连续性和离散性的角度来看待这种网络分类能力的新方式,并且重点突出了这两者搭配的重要性,为深度学习中神经网络的泛化能力提供了新的思路。
Jan, 2020
该研究探索了深度神经网络的解释性人工智能,并开发了一种从共享的网络中提取交互信息的方法,以更好地反映不同网络之间的共享知识。
Jan, 2024
本文介绍了一种超越当前流行的最坏情况的理论控制框架,重新审视神经网络的统计力学的古老理论,并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果,进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。
Oct, 2017
本文探讨了神经网络模型中输入变量之间互动和由此定义出的概念所代表的意义是否真实可靠,经过大量实证研究,发现训练良好的神经网络模型往往可以获得稀疏、可转移和有区分性的概念,这部分与人类观点相符合。
Feb, 2023
通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法,我们提出了一个通用的框架,可以自动帮助我们了解黑箱 DNN 训练进程,并且对 DNN 培训过程进行可解释的可视化,还提出了一个新的训练正则化器,以激励隐藏神经元学习不同的概念,从而改善培训表现,并应用于敌对培训、微调和网络修剪等几个情景中。
Apr, 2023
本文研究了平均场变分贝叶斯神经网络的表示能力,发现相比于标准深度神经网络,BNN 更不可能编码复杂的概念,但这并不一定意味着表示能力差。
利用自我解释的架构跨领域进行概念学习,提出新的概念显著网络、对比学习和基于原型的概念基准规范化方法来解决概念一致性和泛化能力的问题,并在四个实际数据集上展示了方法的有效性。
May, 2024
该研究通过系统实验和理论构建发现,传统方法很难解释为什么大型神经网络的泛化性能良好,即使加入正则化仍然不会改变随机标记训练数据的状态,因为只要参数数量超过数据点数量,简单的两层神经网络就能实现完美的有限样本表达能力。
Nov, 2016
本文通过研究图神经网络(GNNs)中个别神经元的行为,提出新的度量方法和全局解释方法,证明 GNN 神经元充当概念探测器,在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性,将 GNNs 转换成易于理解的概念级别,提高模型的解释性和透明性,并通过实验证明了其优越性。
Aug, 2022
综述了最近的方法来解释神经网络中的概念,强调了将学习和推理结合起来的重要性,并探讨了将概念知识插入神经网络架构的可能性,为实现基于可解释概念的神经符号人工智能迈出重要一步。
Oct, 2023