本文介绍了一种新的概念形成方法，可支持增量学习和预测视觉图像的标签，该方法结合了计算机视觉研究中的卷积图像处理概念和基于心理学研究的概念形成方法。我们将其应用于 MNIST 数字识别任务，并将其性能与不支持卷积处理的 Cobweb 概念形成方法以及两种卷积神经网络进行比较。

Jan, 2022

Cobweb 是一种类似于人类的类别学习系统，通过使用类别效用度量构建具有层级组织的认知树状结构。该研究证明了 Cobweb 能够捕捉到基层、典型性和粉丝效应等心理效应，从而填补了之前对 Cobweb 作为人类类别学习模型的综合评估的缺失。同时，它还探索了 Cobweb 在一个模型中能够同时表现出示例和原型化学习的灵活性。这些发现为进一步研究 Cobweb 作为人类类别学习的综合模型奠定了基础。

Mar, 2024

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023

本文提出了一种使用大量网络数据来学习 CNN 的方法。具体地，我们利用了课程学习的思想，提出了一种 CNN 训练的两步方法，表现优异且鲁棒性强。我们使用这种方法在 VOC 2007 上实现了最佳性能，并在其中演示了网络监督学习的强大功能。

May, 2015

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

本研究基于收集自网络的大规模嘈杂数据对学习视觉识别模型进行了探究。我们构建了一个名为 WebVision 的新数据库，其中包含了超过 240 万张与 ILSVRC 2012 基准数据集的 1,000 个语义概念相关的查询生成的网络图像，并收集了元信息（例如标题，描述，标签等）。通过这个数据库，我们发现网络图像可以用于训练良好的深度 CNN 模型，且该模型的泛化能力甚至优于 ILSVRC 2012 数据集训练的模型。此外，我们也发现了一个数据集偏见问题，即在视觉领域自适应方面存在一些问题。这个新的 WebVision 数据库及其相关研究对于利用网络数据最小化监督学习最先进的视觉模型具有重要的价值。

Aug, 2017

本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

Apr, 2022

通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

May, 2024

本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

Jan, 2018