通过介绍机器学习中的 Null Space Calibration (UNSC)，本文解决了机器遗忘中的过度遗忘问题，并通过在遗忘过程中校准决策空间，显著改善了模型在剩余样本上的性能。

Apr, 2024

本研究提出了一种利用线性转换器的元学习算法，该算法进行神经网络输出的零空间投影。其主要思想是构造一种替代分类空间，使得在 few-shot 学习期间，错误信号可以在该空间上迅速归零，从而实现低数据的可靠分类。查询的最终决策是利用网络输出和参考向量之间的空间投影距离来获得的，这两者都是在初始学习阶段中训练的。在给定模型大小的已知方法中，我们的元学习器在 Omniglot 和 miniImageNet 数据集上实现了最佳或接近最佳的图像分类精度。

Jun, 2018

本文提出一种名为 NuSA 的方法，通过计算和控制神经网络中的零空间投影大小，成功地将异常样本检测方法整合到分类模型中，实现对异常情况的精确识别。实验表明，使用 NuSA 训练的网络既能保持其分类性能，同时也能以类似于常用异常值检测算法的速率检测异常值。

Jul, 2020

本文介绍了一种称为 Null Space Networks 的新型网络结构，提出了概念 M 正则化，并通过将它与标准正则化方法结合使用，讨论了两阶段深度学习方法在逆问题求解中的实践和理论难点，同时指出 Null Space Networks 自然地保留了数据一致性特征。

Jun, 2018

本文提出了一种新的连续学习方法 Advanced Null Space (AdNS)，通过使用低秩逼近获取新的零空间并将梯度投影到零空间中，从而实现平衡稳定性和可塑性，解决了连续学习中的稳定性 - 可塑性困境，并提出了一种简单而有效的方法 intra-task distillation 来提高当前任务的性能。实验结果表明，与最先进的连续学习方法相比，该方法可以实现更好的性能。

Jul, 2022

通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。

Feb, 2024

本文探讨神经网络的零空间特性，扩展了线性到非线性映射的零空间定义，并讨论了神经网络中的零空间存在。我们利用零空间的部分来欺骗神经网络，揭示了神经网络的内在弱点。我们描述了一种图像隐写术的应用，并通过在 MNIST 等图像数据集上的实验表明，我们可以利用零空间成分来强制神经网络选择一个选定的隐藏图像类别，即使整体图像看起来完全不同。最后，我们比较了人类观察者所看到的图像和神经网络实际用于进行预测的图像部分，证明神经网络 “看到” 的与我们预期完全不同。

Jan, 2024

该研究提出了一种名为 Adam-NSCL 的网络训练算法，通过在先前任务的零空间内依次优化网络参数，平衡了网络在不断学习过程中的可塑性和稳定性。实验结果表明该算法在 CIFAR-100 和 TinyImageNet 等基准数据集上胜过或与最先进的连续学习方法相媲美。

Mar, 2021

我们提出了一种名为迭代零空间投影 (INLP) 的新方法，它基于线性分类器的训练，通过在空间中进行映射，以消除神经表示中的特定属性，并减少了词嵌入中的偏见，提高了多类分类的公平性。

Apr, 2020

本文提出了一种结合深度网络和不确定性量化的反问题求解方法，旨在通过估算与输入相关的比例映射来评估重建质量，并成功地在医学成像领域等多个应用中实现了图像重建与加速 MRI 重建等挑战性任务。

Apr, 2023