本文提出了一种新的训练范式，它在神经网络参数空间上引入区间约束以控制遗忘。我们提出了 Hyperrectangle Training，这是一种新的训练方法，其中每个任务都用参数空间中的超矩形表示，完全包含在先前任务的超矩形中，有效地模拟超矩形训练集合。同时我们展示了 InterContiNet 算法在不保存以前任务数据的情况下能够在连续学习设置中很好地表现。

Jun, 2022

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019

该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

Apr, 2024

通过分析，我们展示了如何利用一种简单的边界技术（interval bound propagation，IBP）来训练大型保正可证神经网络，从而打败了验证准确率最高的现有技术，在 MNIST，CIFAR-10 和 SVHN 数据集上达到了最先进的结果。

Oct, 2018

本文提出了一种新技术即区间攻击来评估神经网络的鲁棒性，利用符号区间传播技术来定位包含对抗性实例的潜在区域，研究表明区间攻击可以比现有的渐进式梯度下降攻击发现更多的违规情况达 47%。

Jun, 2019

本文讨论了区间分析（或区间边界传播，IBP）用于验证和训练可靠机器学习的深度神经网络的可行性问题。研究发现，对于任何深度神经网络分类只有三个点，存在 IBP 无法证明的有效规范。此外，在单隐藏层神经网络的限制情况下，存在一组点，无论采用多少隐藏层，都无法通过区间分析来证明其分类鲁棒性。

Dec, 2021

本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

Jun, 2023

在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

Jul, 2020

本文探讨使用一种网络 (称为超网络) 生成另一种网络 (称为主网络) 权重的超网络方法。超网络可应用于图像识别和序列建模任务，微调权重且性能相较于目前流行的基准模型更接近最佳效果。

Sep, 2016

本研究介绍了一种用于分类任务的全新可信区间神经网络（CreINNs），通过确定性区间捕获权重不确定性，同时使用概率区间的数学框架预测区间集合；对 CIFAR10 与 SVHN 的异分布检测基准进行的实验证实表明，与变分贝叶斯神经网络（BNNs）和深度集成（DEs）相比，CreINNs 在对认知不确定性估计方面表现优越，并且 CreINNs 的计算复杂度大幅降低，模型尺寸较 DEs 更小。

Jan, 2024