生物启发学习中分解编码器设计中的表征学习
这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则,使用局部,赫布规则进行权重更新,并具有深度分层的图像、语音和视频表示。
Oct, 2020
本文探讨了一种更具生物学可行性的深度表示学习方法,通过一种基础学习规则(即基于突触权重更新的时序相关型可塑性)引出一种机器学习的梯度下降算法,利用神经元动态学实现了近似的变分 EM 算法,提出了使用去噪自编码器实现梯度的方法,并将其在生成学习任务上加以验证。
Feb, 2015
使用相似性匹配的规范方法,我们探索了监督学习算法,并阐明了神经架构的出现和加性与乘性更新规则,并展示了代表定理在推动我们对神经计算的理解中的关键作用。
Aug, 2023
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则,以进行在线信用分配,并超越了现有的基于梯度的算法在回归和分类任务方面的性能,特别是在持续学习方面表现优异,结果表明存在一类生物可行的学习机制,不仅匹配梯度下降,而且还克服了其局限性。
Jun, 2020
我们提出了一种基于无监督自动学习的方法,可以学习出具有小样本复杂度的好的表示方法,在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板,可以对每个图像块计算一种不变而又唯一的(有区分性的)签名,从而从很少的有标记例子中学习图像识别。
Nov, 2013
本文深度阐述了最近在表征学习中以自编码器为核心模型的研究进展,分析了三种主要的机制来实现信息分离和分层组织特征,探讨了表征学习中的隐式和显式监督的重要性,并通过失真率理论分析了自编码器表征学习的优缺点和任务需求的先验知识对表征学习的影响。
Dec, 2018
介绍了一种新颖的脉冲神经网络模型,用于从数据中学习分布式内部表示,通过将之前已被证明可以执行表示学习的非脉冲前馈贝叶斯置信传播神经网络(BCPNN)模型转换为脉冲神经网络,并采用基于在线相关性的 Hebbian-Bayesian 学习和重连机制,呈现出在生物皮层锥体神经元中与 in vitro 低发射率相当的 Poisson 统计量。我们使用线性分类器评估了我们的脉冲模型学习的表示,并展示了与非脉冲 BCPNN 接近,以及当对 MNIST 和 F-MNIST 机器学习基准进行训练时,与其他基于 Hebbian 的脉冲网络竞争力相当。
May, 2023
受生物神经元可塑性启发,我们提出了一种搜索方法,通过寻找突触特异的赫比学习规则,使网络能在智能体的生命周期内持续自组织其权重,从而实现在一些强化学习任务中取得成功,同时对多种感官模态处理方式具有适应性。
Jul, 2020
本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题,提出了一种新的解决方案,即将本地块重叠并堆叠在一起以增加解码器深度,并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务,我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。
Aug, 2020
在这篇论文中,我们提出了一种自动编码器架构(WLSC),其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类,生成了一组多样的人工感受野,与 V1 的灵长类动物数据具有相近的一致性,而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化,即我们为之后的皮质阶段引入了弱的聚类偏差,这是已知的功能性和空间分离(即拓扑)发生的地方。这些结果表明,在对 V1 及其之后的特征分离进行描述时,对感受野和放电率进行空间正则化至关重要。
Nov, 2023