Mar, 2023

Deephys：面对分布偏移调试神经网络的深度电生理学

PDF
TL;DR本文介绍了一种基于神经电生理学概念的工具 Deep Electrophysiology（简称 Deephs），通过比较神经元活动在分布内和分布外数据集中的可视化，可提供深度神经网络失败情况的洞察力，通过定量分析表明 Deephs 的有效性，在颜色 MNIST，CIFAR-10 和 ImageNet 等数据集和分布转换下的卷积和 transformer 体系结构中得到证实。
发现论文，激发创造
  • 基于可激发神经元的深度学习测试框架：从过度激动到错误

    为解决深度神经网络在实际应用中产生错误行为的问题，引入了基于 Shapley 值的可激励神经元概念，设计了一个名为 DeepSensor 的新颖测试框架，通过最大化与各种错误行为相关的可激励神经元数量，生成有效的测试样例，对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验，证明了 DeepSensor 的卓越性能。

    Feb, 2022

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • 利用模型可解释性和稳定性提高模型的鲁棒性

    该研究探讨深度神经网络的可解释性，提出了一种基于 conductance 度量法将 DNN 的预测得分分解为隐藏单元贡献和通过二元分类器自动鉴别 DNN 错误预测的方法，该方法能够提高模型的鲁棒性。同时，加入 Wang 等人的思路，可以进一步提高错误预测的检测效果。

    Oct, 2019

  • 使用卷积神经网络实现基于域泛化的 12 导联心电图分类

    本研究阐明不同医院数据库之间存在的领域泛化问题，并提出一种在深度神经网络架构中利用提取的信息和捕捉信号基础结构的方法，用于对 12 导联心电图进行异常分类。我们采用 ResNet-18 作为骨干模型，并从网络的多个中间卷积层中提取特征。通过在四个来源的公开可用心电图数据集上进行训练和评估，我们的方法在大多数情况下超过了基线。

    Aug, 2022

  • 深度知识：基于泛化的深度学习测试

    通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

    Mar, 2024

  • 深度神经网络的扩展临界区

    利用长尾随机矩阵与非平衡统计力学理论，提出了 DNN 的新型平均场理论，并发现重尾权重使得 DNN 出现了一个拓展的临界区，体现了丰富的跨层传播动力学，进而赋予 DNN 突出的计算优势，这为设计高效神经网络结构提供了理论指导。

    Mar, 2022

  • 迈向透明 AI：深度神经网络内部结构解释综述

    本文回顾了超过 300 种内部可解释性技术，并引入了一种分类方法，介绍了它们对神经网络的什么部分（权重、神经元、子网络或潜在表示）进行解释，以及它们是在训练期间（内在）还是在训练后（事后）实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。

    Jul, 2022

  • NeuroInspect: 基于神经元的调试框架通过条件可视化

    通过引入神经元为基础的调试框架 NeuroInspect，该研究提供了深度学习模型的人类可解释的调试方法，其中包括对错误的因果解释、特征可视化和假相关性缓解，从而实现了对 DL 模型错误的调试和改进。

    Oct, 2023

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021