Jun, 2023

信息形态网络：基于部分信息分解导出的本地学习神经网络

PDF
TL;DR本文提出了一种新型的模型神经元，通过优化抽象本地信息处理目标模拟生物神经元的功能特征，并且提出了一种相应的参数本地学习规则作为神经网络的基础，称为 “infomorphic 网络”，通过利用 PID 框架的解释能力和可解释性，这些 infomorphic 网络代表了一种有价值的工具来推进我们对皮层功能的理解。
发现论文，激发创造
  • 部分信息分离揭示神经表现的结构

    研究神经网络结构中信息的表达方式，引入了 “表征复杂度” 的概念，该概念基于信息论延伸，并测量了从多个神经元中访问信息的难度。 最终，作者将表征复杂度作为一种可解释性的统计量，用于分析神经表征的结构。

    Sep, 2022

  • 关于网络科学和互信息的深度神经网络解释

    本文提出了一种新的方法来解释深度学习模型，并通过结合互信息和网络科学探究了信息在前馈网络中的流动。我们展示了高效近似互信息可以创造一个信息度量，用于量化深度学习模型中任意两个神经元之间流动的信息量，并提出了神经信息流（NIF）技术，用于编码信息流并提供特征归因。

    Jan, 2019

  • 物理资讯神经网络与图形网络的可扩展算法

    本文综述了物理信息机器学习在解决复杂物理和生物系统中的应用，重点介绍了使用 PINN 和 PIGN 网络的物理信息神经网络和图神经网络的应用以及其在大规模工程问题中的扩展。

    May, 2022

  • 融入神经形态计算的大脑启示全局 - 局部学习

    本文提出了一种神经形态混合学习模型，该模型实现了元学习局部可塑性和多尺度协同学习的降低维度的脉冲神经网络。在多个任务中展示了该模型的性能，包括在神经形态视觉传感器中的少样本学习、连续学习和容错学习。该模型表现出比单一学习方法显著更高的性能，并展示了在嵌入式应用方面的应用优势。

    Jun, 2020

  • 神经信息组织与处理 — 神经机器

    自然和人工神经系统的神经结构、过程、参数和特征的信息综合表述和建模为神经机器，提出了神经系统计算潜力的全球定量度量作为绝对和相对神经能力的一般信息参数，通过非确定性的感入和感出信息的记忆、分段和聚合，深度神经信息处理代表了分段和聚合阶段的多重替代，将相关神经特征集成到一个包括单元、外围或接口组件的神经机器型模型中，该方法能够克服人工计算实现神经信息过程的技术约束，并提供更加准确的自然描述。

    Feb, 2024

  • 推理推断

    通过结合神经计算的规范和算法理论，我们提出了一种从大规模神经活动模式中推断规范分布计算的数学框架，以发现神经录制中的可解释结构。

    Oct, 2023

  • 基于热力学局部启发的图神经网络

    这项研究通过引入感知力偏差，同时套用热力学第一和第二原理，提高神经网络的准确性，尤其是在涉及到图网络时，通过开发一种本地化版本的感知力偏差，避免了全局 Poisson 和耗散矩阵的拼装，从而保存了图网络的节点结构，并在固体力学和流体力学领域进行了应用，展示出显著的计算效率和高强度的泛化能力。

    May, 2024

  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 用信息论理解卷积神经网络：一个初步探索

    本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

    Apr, 2018

  • 神经网络的内部结构：基于功能神经元群和网络消融的学习表示特征表征

    本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。

    Apr, 2020