May, 2024

利用脉冲函数从数据中学习规律：一种理论

PDF
TL;DR提出了一种新的机器学习理论，定义了数学上的规律性，通过结合信息理论，将规律性看作大量信息中编码的少量信息，并讨论了将多个脉冲函数应用于相同数据分布的过程，并提出了一种机器学习方法，可以在实践中获得给定数据集的最佳脉冲函数。
end-to-end learningregularitiesinformation theoryspiking functionsmachine learning approach
发现论文，激发创造
  • 深度神经网络在近似和估计中适应函数规律性和数据分布

    深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

    Jun, 2024

  • 深度神经网络的表示定理

    通过引入功能规则化到损失函数中，基于二阶总变差准则，提出了一种可以用于通信、编码和学习的深度神经网络优化方法；同时，通过使用自适应节点的非均匀线性样条，可以实现每个神经元的动作编码。

    Feb, 2018

  • 循环尖峰神经网络中的时空动态和可靠计算

    本研究发现通过距离依赖性连接概率，可以克服兴奋性和抑制性尖峰神经元随机连接网络在进行计算时的不可靠性。在此基础上建立的空间扩展尖峰神经元网络可以展现出对称性破缺分岔现象，并能生成可进行动力学计算的时空模式。

    Nov, 2016

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 作为正则化器的尖峰

    本文提出了一种新的基于信心的单层前馈学习算法 SPIRAL（Spike Regularized Adaptive Learning），该算法采用激活脉冲的编码，通过置信度估计和与先前活动的激活偏移进行权重向量自适应更新。实验结果表明，SPIRAL 学习算法相对于平均感知机和 AROW 方法更加稳健且不易过拟合。

    Nov, 2016

  • 深度学习和廉价学习为什么如此有效？

    本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

    Aug, 2016

  • 短期突触可塑性脉冲神经元形成更优秀的生成网络

    本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势，并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能，在任务不平衡的情况下，它们甚至可以胜过传统算法。

    Sep, 2017

  • 深度神经网络的稀疏感知泛化理论

    本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。

    Jul, 2023

  • 基于脉冲神经网络时间编码的监督学习

    本研究证明了在采用了时间编码方案的前馈脉冲网络中，网络输入 - 输出关系在几乎任何地方都是可微的，并且在变量转换后这种关系是分段线性的。此外，我们展示了通过该方法对项独立 MNIST 任务进行训练的结果，从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是，我们所提出的网络的脉冲更为稀疏，且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。

    Jun, 2016

  • SuperSpike: 多层脉冲神经网络中的监督学习

    本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。

    May, 2017