ICMLApr, 2021

元学习双向更新规则

PDF
TL;DR本研究提出了一种广义神经网络，其中神经元和突触维护多个状态，通过基于链式法则的二值网络来推导出更新规则，并使用共享的低维 “基因组” 进行参数化，证明了该方法的泛化性和训练速度优于梯度下降优化器，可用于计算机视觉和合成任务。
neural networksynapsesgradientsgenomecma-es
发现论文，激发创造
  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 具有自修改网络的元强化学习

    提出了一个新型的元强化学习模型，MetODS，利用动态连接权重和突触可塑性来进行连续的自我反思修改，实现了在代理策略空间中高效和强大的控制规则的学习。

    Feb, 2022

  • 学会学习神经网络

    利用 LSTM 神经网络实现元学习，并能将其与手工设计的算法进行对比，在实验中，我们学习了针对非线性可分数据集的一个具有两个隐藏层的 MLP 的学习算法，并且该算法能够成功地更新两个隐藏层的参数并且在类似的数据集上具有泛化性能。

    Oct, 2016

  • 从过去学习：基于贝叶斯图建模的持续元学习

    提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

    Nov, 2019

  • 随机网络中基于赫比塞塑性的元学习

    受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

    Jul, 2020

  • 奖励调节 STDP 的突触可塑性神经元脉冲伪学习

    提出了一个受海马体和前额叶皮质启发的生物学上可行的元学习模型，其使用尖峰神经网络和基于奖励的学习系统来实现在低数据条件下的快速学习并避免了灾难性遗忘，并且可以轻松地应用于脉冲神经形态学设备和在 few-shot 分类任务中展示了其与现有技术的竞争力。

    Jun, 2023

  • 使用赫比快速权重进行元学习

    本文提出了一种用于元学习的模型，将近期的神经网络方法与早期的联想记忆思想统一起来。该模型通过慢速权重和 Hebbian 学习规则构建快速权重，在 Omniglot、Mini-ImageNet 和 Penn Treebank 等数据集上取得了最先进的结果。

    Jul, 2018

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024

  • 元网络

    本文介绍了一种新的元学习方法 Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在 Omniglot 和 Mini-ImageNet 基准测试中，我们的 MetaNet 模型实现了接近人类水平的表现，并在准确性上优于基线方法高达 6％。我们展示了 MetaNet 的几个有吸引力的性质，如泛化和持续学习。

    Mar, 2017

  • 通过元黑盒优化发现进化策略

    该研究采用元学习来探寻对进化策略更有效的更新规则，并通过自我关注机制加以参数化，其结果显示新进化策略推广到未知的优化问题、种群大小和优化目标上表现出良好的性能。研究结果还表明，所学习的进化策略可以在监督学习和连续控制任务中优于传统的神经进化算法。

    Nov, 2022