关键词catastrophic interference
搜索结果 - 11
- 知识复苏：通过结构化训练实现对灾难干扰的预期恢复
我们研究了神经网络在结构化非独立同分布的设置中的训练动力学，其中文档以固定的重复顺序周期性呈现。我们发现了一个有趣而引人注目的 LML 在此设置中顺序微调的性质：它们表现出预期的行为，在再次遇到文档之前从遗忘中恢复。这种行为出现并随着架构规 - 远距干扰：探索基于模型的持续学习的界限
连续学习中的灾难性干扰和远程干扰分析，提出一种能近似任何连续函数、具有多项式计算复杂度、并且对远程干扰提供保证的新型人工神经网络结构 ABAL-Spline。通过实验证明 ABAL-Spline 在理论上具有的性质，并在基准回归问题上进行评 - 自然物理定律学习环境中的灾难性干扰被缓解
在自然学习环境中，我们评估了基于反馈的简单复习方法在类似人类面临的符合幂律分布的环境中减轻灾难性干扰的程度，并比较了其与其他基线方法的表现。
- 看我，无重放！SurpriseNet：受启发的无监督增量学习的异常检测
SurpriseNet 是一种解决持续学习中灾难性干扰和跨任务知识学习问题的方法，通过参数隔离和基于异常检测的自编码器来处理，适用于结构化和非结构化数据。
- 强化学习中干扰的测量和缓解
本文研究了在价值为基础的强化学习方法中广泛存在的灾难性干扰现象，提供了一种新的干扰度量方法，在多种网络架构下系统评估了这种度量与控制性能不稳定性的相关性，并提出了一类名为 “在线感知” 的算法来减少干扰，并表明它们在多个经典的控制环境中可以 - 探究机器人设计对学习和神经控制的影响
通过设计机器人体形，可以在多任务场景下克服神经控制器所遇到的许多问题，从而实现设计更通用、需要更少计算力的机器人。
- CVPRDANICE：神经图像压缩中的无遗忘域自适应
本文研究了使用深度学习模型从数据中学习编码能力的神经网络图像压缩（NIC）的可适应性，提出了一种避免遗忘原始编码能力和维持先前编码比特流兼容性的新框架 Codec Adaptation without Forgetting（CAwF），并展 - CVPR跨模态检索中的持续学习
本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。
- 稀疏表示在强化学习控制中的应用
本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示，在经典控制域中递增地学习控制策略的表现，证明了稀疏表示更加有效，因为其提供了局部性，避免了灾难性的干扰，特别是保持了稳定的值来引导学习。同时，称之 - 使用概念器克服灾难性干扰
本文提出了一种基于 conceptors 的反向传播算法，可以在深度前馈网络中抵御以往学习结果的退化，解决连续学习中的 catastrophic interference 问题，并在 MNIST 任务中表现出了优越性。
- 终身生成建模
本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。