Oct, 2023

双重认知架构：将偏见和多内存系统纳入终身学习

PDF
TL;DR我们设计了一种名为 Dual Cognitive Architecture (DUCA) 的新型框架，它结合了人类认知的多个因素，包括认知计算结构、认知偏差和多记忆系统，并具备多个子系统、内隐和显性知识表示二分法、归纳偏差以及多记忆系统功能，它在各种场景和数据集上表现出改进，并且它还展示了对于挑战性分布转移的优异性能。
发现论文，激发创造
  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 终身教师 - 学生网络学习

    提出了一种基于教师 - 学生网络框架的新型终身学习方法，利用生成对抗网络（GAN）实现教师模块，保留和回放以往学习数据库的概率表示，利用变分自编码器（VAE）实现学生模块，学习捕捉不同领域的连续和离散数据表征，并应用于监督、半监督和无监督培训。

    Jul, 2021

  • 深度生成式双重记忆网络用于持续学习

    本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

    Oct, 2017

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • DualNet: 持续学习，快和慢

    基于补充学习系统理论的启示，我们提出了一种名为 “DualNet” 的新型连续学习框架，其中包括一个快速学习系统和一个慢速学习系统，分别用于有着特定任务的监督学习和无任务的非监督学习。经实验验证，该方法优于现有的方法，并验证了其有效性、稳健性和可伸缩性。

    Oct, 2021

  • 动态自适应网络智能

    本文介绍了一种高效的弱监督学习模型 Dynamic Adaptive Network Intelligence (DANI)，用于准确地学习数据中的显式和隐含关系，该模型在 bAbI 数据集的问答任务上取得了最先进的结果。

    Nov, 2015

  • 持续学习，快和慢

    本文中，我们提出了一种名为 DualNets 的深度学习框架，该框架结合了快速学习和慢速学习系统，通过监督学习和自监督学习的方式，实现低成本、高效率地同时保留模式分离型表征和任务不可知通用表征的方法。我们在多项实验中，通过标准的离线任务感知设置以及具有挑战性的在线任务无关场景中充分验证了该框架的可行性和有效性，同时公开代码供参考。

    Sep, 2022

  • 高维鲁棒性记忆增强神经网络

    该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

    Oct, 2020

  • 神经网络自然语言理解系统中背景知识的动态整合

    本文提出了一种动态集成显式背景知识的 NLU 模型，使用通用阅读模块来读取背景知识，并经过实验验证其在文档问答和文本蕴涵等任务上取得了显著的效果。

    Jun, 2017