ICLRFeb, 2022

连接主义网络中的偶然遗忘

PDF
TL;DR本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。
发现论文，激发创造
  • 机器学习及其之后的遗忘：一项调研

    这份论文调查了机器学习中遗忘的多方面本质，从神经科学研究中得出结论，认为遗忘是一种适应性功能而非缺陷，它能增强学习过程，防止过拟合，并与各种机器学习子领域的应用联系，以提高模型性能和增强数据隐私。此外，本文还讨论了将遗忘机制整合到机器学习模型中所面临的当前挑战、未来方向和伦理考虑。

    May, 2024

  • 深度学习中遗忘性的综合调查 —— 超越持续学习

    遗忘是一个在深度学习中广泛存在的现象，涉及到持续学习、生成模型、联邦学习等领域，在特定情况下遗忘可以具有积极的作用，如隐私保护场景。本综述旨在全面了解遗忘现象，探索不同领域对遗忘的理解，并通过借鉴各领域的思想和方法找到潜在的解决方案。将遗忘研究的边界扩展到更广泛的领域，希望在未来的工作中促进对遗忘的减轻、利用或甚至接纳的新策略的发展。

    Jul, 2023

  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 监督和无监督连续学习中的表示遗忘探究

    通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

    Mar, 2022

  • 深度网络比样本更细粒度的选择性遗忘

    本文针对深度神经网络中可能被攻击者篡改、包含敏感信息的数据进行了选择性遗忘的研究，提出了一种基于优化方法对遗忘过程进行控制的方法，并通过实验结果验证了其有效性。

    Dec, 2020

  • 用模型遗忘方法提升生成式类增量学习性能

    本研究通过引入遗忘机制，提出了一种新颖的生成类增量学习（GCIL）方法，旨在动态管理类信息以更好地适应流数据。通过实验证明，将遗忘机制整合到 GCIL 中，显著提高了模型在获取新知识方面的性能，凸显了策略性遗忘在不断学习过程中的积极作用。

    Mar, 2024

  • 深度神经网络的少遗忘学习

    研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

    Jul, 2016

  • IF2Net: 面向连续学习的天然无遗忘网络

    本研究提出了一种基于 IF2Net 的学习方式，该方式利用权重来存储信息，通过冻结监督每个任务的权重的相对值从而实现不遗忘的连续学习，同时运用随机化和正交化的优点，实现单个网络对无限映射规则的内在学习， 并通过理论分析和实证研究验证了其有效性。

    Jun, 2023

  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018

  • 不断学习的表示中的知识积累与特征遗忘问题

    本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

    Apr, 2023