神经电容：通过边缘动力学的神经网络选择新视角

Jan, 2022

神经电容：通过边缘动力学的神经网络选择新视角

Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics

Chunheng Jiang, Tejaswini Pedapati, Pin-Yu Chen, Yizhou Sun, Jianxi Gao

TL;DR本文介绍了一种基于分析神经网络训练过程中连接权重的演化动力学来进行有效模型选择的新型框架，并提出了神经电容指标作为预测性能的度量标准。通过对 17 个广泛使用的预先训练的 ImageNet 模型和 5 个基准数据集的大量实验，验证了神经电容指标的有效性，相比现有方法更为高效。

Abstract

efficient model selection for identifying a suitable pre-trained neural network to a downstream task is a fundamental yet challenging task in deep learning. Current practice requires expensive computational costs

efficient model selection pre-trained neural network neural capacitance metric downstream task synaptic connections

发现论文，激发创造

边缘上的设备学习：在预算约束下选择要更新的神经元的方法

挤压在极端存储和计算约束下的设备学习所需资源，提出了一种利用动态神经元选择和有效学习的新方法。

Dec, 2023

学习神经生物网络中功能连接组的动态表示

使用无监督方法从脑内活体神经元跟踪中学习动态亲和力，揭示神经元在不同时间形成的群体互动，进而构建动态功能连接图。

Feb, 2024

基于深度框架势的无数据模型选择

本研究提供了一种基于内在容量的深度学习网络架构比较方法，并利用其作为模型选择标准，在一系列常见的残差和稠密连通网络结构上验证了其与泛化误差的相关性。

Mar, 2020

利用大规模神经影像数据集创建连接组约束方法，以实现更加稳健、高效和适应性人工智能

利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。

May, 2023

预训练图神经网络用于少样本智能模拟电路建模和设计

本文介绍了一种用于电路设计的监督式预训练方法，利用神经网络（NN）和图神经网络（GNN），以预测输出等效电路的直流电压，提升了新电路结构或未见过的预测任务的可适应性和样本效率。

Mar, 2022

利用代数拓扑学表征神经网络的容量

本文提出代数拓扑作为数据复杂性量度，并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象，从而将现有理论和完全连接的神经网络架构的选择联系起来。

Feb, 2018

提高前馈神经网络在脉冲神经形态芯片中的分类准确性

使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

May, 2017

高容量、噪声鲁棒的神经元选择性需要平衡的兴奋和抑制

该研究论文讨论了神经元和神经元网络在大量噪声的外界环境中如何可靠地进行信息传输，并提出平衡突触连接来实现强大的稳健性的观点。

May, 2017

神经网络中频率偏差动态的理解

传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

May, 2024

动态容量网络

本文介绍了一种名为动态容量网络（DCN）的神经网络，可以通过结合低容量和高容量子网络并运用一种新颖的基于梯度的注意力机制自适应地在不同部分的输入数据中进行容量分配，实现对 Cluttered MNIST 和 SVHN 图像数据集的实证评估表明，相较于传统的卷积神经网络，DCN 可以显著降低计算数量，同时保持相似甚至更好的性能。

Nov, 2015