Sep, 2015

离散突触的神经网络中亚支配稠密区域实现简单学习与高计算性能

PDF
TL;DR本文研究神经系统中的离散型突触权重在学习和优化中的应用，并通过学习随机模式来证明其性能。研究发现，这些离散型突触的特定配置可以通过简单学习协议轻松获得，并对干扰具有稳健性。同时，基于局部熵最大化的大偏差度量也提出了一些新的优化算法方案。
neural systemssynaptic weightslearningrandom patternsoptimization
发现论文，激发创造
  • 学习可能只需要少量的突触精度

    本文通过对离散化突触状态下学习过程的分析，探究了突触精度对学习在神经网络中的影响，并表明突触精度的增加对提高学习效率的作用很快就消失了，因此在实际应用中只需要使用几个 bit 就能够实现近乎最优的表现。

    Feb, 2016

  • 学习神经网络的不合理有效性：从易于访问的状态和稳健集合到基本算法方案

    研究了具有离散权重的人工神经网络中学习过程的优化，提出了一种被称为 “鲁棒集合” 的新量度来抑制被隔离的配置所困住，并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题，提出了一个算法方案来定义目标，并证明了该算法在从驱动分配的稠密状态中提取信息时的有效性。

    May, 2016

  • 一个基于 Hebbian /Anti-Hebbian 神经网络的线性子空间学习模型：从流数据多维缩放推导

    本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络，该网络利用多维缩放代价函数学习流数据的主要子空间，从而实现神经计算的算法化理论。

    Mar, 2015

  • 学习神经网络子空间

    本文通过一次性的方法在神经网络中学习高准确度的线、曲线、和单纯形来寻找各种应对方法，达到了独立训练网络套索并在训练成本上类似的计算成本，增加了分类器的鲁棒性和准确性。

    Feb, 2021

  • 离散与连续权重的非凸神经网络中的典型和非典型解

    本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型，并探讨了两种模型解决方案的几何学特征。结果发现，即使在高度非约束的情况下，存在大量的极宽、极平的最小值，这有助于提高学习器的泛化性能。

    Apr, 2023

  • 二元神经元学习的计算难度来源

    通过分析权重空间结构得到 Franz-Parisi 势能解决二元感知器问题，发现权重空间由孤立解构成，而不是非常接近的集群，这些点状集群在权重空间中相距很远，解释了以前观察到的随机局部搜索启发式算法的玻璃态行为。

    Aug, 2014

  • 具有大学习差异性的稀疏神经网络

    本文介绍了具有三个级别稀疏性的编码循环神经网络，该网络基于二进制神经元和二进制连接，能够学习和召回大量的信息，可以作为分类器和关联记忆使用。

    Feb, 2011

  • 神经网络中的高维解流形：基于统计物理的见解

    论文概述了统计力学方法在神经网络中的应用，重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。

    Sep, 2023

  • 深度稀疏子空间聚类

    本文提出了一种深度扩展的稀疏子空间聚类方法，称为深层稀疏子空间聚类（DSSC）。通过神经网络的非线性变换，DSSC 不仅满足了 SSC 的稀疏性原则，还同时满足了学习深度特征的单位球分布假设。实验证明 DSSC 在四个真实世界数据集上具有明显优势，是目前为止最好的基于深度学习的子空间聚类方法之一。

    Sep, 2017

  • 神经网络学习逐渐复杂的统计规律

    该研究指出神经网络首先学习数据分布的低阶矩，然后再学习高阶相关性。通过实验证据，证明了神经网络在训练早期会自动学习以最大熵分布为基础的低阶统计信息，但训练后期会失去这种能力。该研究还将分布简易偏差扩展到离散领域，并通过证明 Token 的 n-gram 频率与嵌入向量矩的等价性以及在 LLMs 中找到的实证证据，证明了该偏差。最后，研究利用最优运输方法对某一类的低阶统计信息进行手术式编辑，使其与目标类的统计信息相匹配，并展示了早期训练的网络将编辑后的样本视为从目标类中抽取的样本。

    Feb, 2024