Mar, 2015

一个基于 Hebbian /Anti-Hebbian 神经网络的线性子空间学习模型：从流数据多维缩放推导

PDF
TL;DR本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络，该网络利用多维缩放代价函数学习流数据的主要子空间，从而实现神经计算的算法化理论。
neural network modelssubspace learningmultidimensional scalinghebbian learninganti-hebbian learning
发现论文，激发创造
  • 神经网络中自适应降维的规范化理论

    本研究提出了三个目标函数和相应的自适应算法，可根据输入协方差矩阵的特征值谱自适应地调整输出维度，这些算法被映射到符合生物学可行的局部学习规则的神经元网络中。

    Nov, 2015

  • 一种学习主子空间的新型随机梯度下降算法

    本文基于样本输入数据推导出一种算法，可以学习如何从具有潜在主子空间的矩阵中进行分类或降维，适用于神经网络，可以有效地扩展到无限数量的行和列上。

    Dec, 2022

  • 从在线非负矩阵分解中派生的 Hebbian / Anti-Hebbian 网络可以聚类和发现稀疏特征

    研究单层神经元网络如何执行在线对称非负矩阵分解（SNMF）的假设，通过导出基于 SNMF 成本函数的在线算法，可以实现具有局部学习规则的生物学上可行的网络。该算法具有软聚类和稀疏特征发现能力，是一个阶段性的研究，可以促进大规模神经电路模拟和生物启发式人工智能。

    Mar, 2015

  • 离散突触的神经网络中亚支配稠密区域实现简单学习与高计算性能

    本文研究神经系统中的离散型突触权重在学习和优化中的应用，并通过学习随机模式来证明其性能。研究发现，这些离散型突触的特定配置可以通过简单学习协议轻松获得，并对干扰具有稳健性。同时，基于局部熵最大化的大偏差度量也提出了一些新的优化算法方案。

    Sep, 2015

  • 走向生物学可行的深度学习

    本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

    Feb, 2015

  • 一种基于对称矩阵分解的在线稀疏字典学习的赫比 / 反赫比网络

    通过对称矩阵因式分解的正则化误差，我们提出了一种新的代价函数，使得在线算法可以学习到 Gabor 滤波器感受野，同时使用仅限生物合理的局部学习规则，从而解决了 Olshausen 和 Field 所提出的算法中存在的生物学上不现实的非局部性学习规则的问题。

    Mar, 2015

  • 学习神经网络子空间

    本文通过一次性的方法在神经网络中学习高准确度的线、曲线、和单纯形来寻找各种应对方法，达到了独立训练网络套索并在训练成本上类似的计算成本，增加了分类器的鲁棒性和准确性。

    Feb, 2021

  • 在线独立分量分析的统计动力学

    探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况，介绍了该算法适用于学习 Stiefel 流形的自然梯度变体，并研究了大输入维度下两种算法的参数轨迹。

    Sep, 2003

  • 流式大数据矩阵和张量的子空间学习和插补

    论文提出了一种基于 rank minimization 算法的在线优化方法，通过追踪低维度子空间、揭示潜在结构以及使用核范数正则化来实现低维矩阵数据和低秩张量数据的缺失值插补，模拟测试显示该方法在数据明显含噪、不完整的情况下表现突出。

    Apr, 2014

  • 神经模式：非线性模态子空间的自监督学习

    我们提出一种自监督方法，用于学习基于物理的子空间进行实时模拟。通过近似预定义的模拟数据以纯几何方式构建子空间的现有基于学习的方法。然而，这种方法倾向于产生高能量配置，导致了纠缠的潜空间维度，并且在训练集之外的泛化能力较差。为了克服这些限制，我们提出了一种自监督方法，在训练期间直接最小化系统的机械能。我们证明了我们的方法导致了学习到反映物理平衡约束的子空间，解决了先前方法的过拟合问题，并提供可解释的潜空间参数。

    Apr, 2024