Sep, 2023

神经外科医生：一个子网络分析工具包

HTML
PDF
TL;DR尽管关于神经网络学习所表示的算法的可解释性领域取得了近期的进展，但仍有许多未知。最近的研究尝试通过将其分解为功能电路来理解经过训练的模型。为了推进这项研究，我们开发了NeuroSurgeon，这是一个可以用于发现和操纵Huggingface Transformers库中模型的子网络的Python库。NeuroSurgeon在此https URL上免费提供。
发现论文，激发创造
  • 机器人大脑消融：神经网络受刀削影响

    本文提出了一种新颖的方法来确定神经网络内部信息的结构，通过神经科学的切除技术（ablation），从生物学角度分析了几种神经网络架构，研究了生物神经网络和人造神经网络之间的重要相似之处，以寻找隐含在网络权重中的隐式知识。

    Dec, 2018

  • NeuroX: 用于分析神经网络中个体神经元的工具包

    提供一款工具箱以便于神经网络模型的解释和理解，为用户提供了几种方法来识别与模型本身或外部任务相关的显著神经元，用户可以可视化选择的神经元，删除它们来测量它们对模型准确性的影响，并操纵它们来控制模型在测试时的行为。

    Dec, 2018

  • 人工神经网络中的消融研究

    本文通过两种不同的人工神经网络在计算机视觉领域常见的基准数据集进行消融实验，研究了神经网络的内部表征和结构损伤的鲁棒性，并探讨了消融研究在人工神经网络中的可行性及其对于未来安全关键应用的重要性。

    Jan, 2019

  • BrainGB: 基于图神经网络的脑网络分析基准

    使用结构或功能连接来绘制人脑的连通图已成为神经影像分析中最普遍的范例之一。 本文提出BrainGB作为探索有效的GNN设计的基准，来实现开放和可复现的基于GNN的大脑网络分析研究。

    Mar, 2022

  • ElegansNet: 一个简短的科学报告与初步实验

    ElegansNet是一种神经网络，其设计灵感来自真实世界的神经元网络电路，在理解连接组拓扑和深度学习系统之间的相互作用方面更为出色。该方法利用生物神经电路的强大表征能力来设计和生成构建与自然网络类似的深度学习系统，其中C. elegans连接组作为参考系统，提供一种高效解决复杂任务的生物可存储结构。

    Apr, 2023

  • 深度自然语言处理模型的神经元分析NeuroX库

    NeuroX是一个开源的工具包，提供统一的API接口和数据处理评估框架，方便研究人员和实践者进行神经元分析，从而深入了解知识表示和神经元在网络中的作用，并实现AI的可解释性。

    May, 2023

  • 人工神经网络的多层次可解释性：借鉴神经科学的框架和方法

    本研究解决了人工神经网络与其外部行为之间的复杂关系问题，提出了多层次分析的框架。作者强调通过使用不同的分析工具在多个层次上理解生物与人工神经系统，从而提供了一种系统的方法来应对神经系统的复杂性，促进对智能系统的统一理解。

    Aug, 2024

  • 人工神经网络的多层次可解释性：利用神经科学的框架和方法

    本研究针对深度学习系统内部结构与外部行为之间的关系，提出了一种多层次分析的方法，借鉴了神经科学的丰富经验。通过Marr的三层分析框架，研究阐明了人工和生物神经系统如何通过不同的分析工具理解其复杂性，提供了一种系统化的方法来促进对智能系统的统一理解。该工作对深度学习的解释性具有重要的潜在影响。

    Aug, 2024

  • 神经网络序列化：迈向可扩展的黑箱神经网络确切参数重构

    本研究解决了仅通过查询访问推断神经网络精确参数的NP-Hard问题，填补了现有算法的空白。通过识别随机初始化和一阶优化的诱导偏差及提出新颖的查询生成算法，成功重构了含150万参数的隐藏网络，实现最大参数差异小于0.0001，展现了在多种架构和数据集中的鲁棒性和可扩展性。

    Sep, 2024

  • 电路组合：探索基于变压器的语言模型中的模块化结构

    本研究解决了神经网络，特别是语言模型在复用功能上的能力不足的问题。通过分析变压器模型中高度组合的子任务电路，研究发现功能相似的电路具有显著的节点重叠和跨任务的信实性，这表明这些电路可以通过子网络集合运算进行重用和组合，从而表现出更复杂的功能能力。

    Oct, 2024