我们提出了一种自适应迁移学习方法，可以在高维环境中处理特征维度大于样本大小的情况。通过使用一种新型的融合罚函数，配合能够根据可迁移结构自适应调整的权重，我们能够检测和聚合特征层面或样本层面的可迁移结构，从而选择性地融合可迁移信号并过滤掉不可迁移信号。此方法的有效性已经通过合成数据和真实数据的验证得到证明。

Mar, 2024

提出了一种利用 Adversarial Dropout Regularization 的方法来实现神经表示从有标签的源域到无标签目标域的转移，以提高语义分割和图像分类任务的准确性，并证明了该方法的有效性。

Nov, 2017

传统上，神经网络会优化目标函数使得训练损失为零，但最近研究发现设定一个非零训练损失阈值 (即洪水水位) 通常能够实现更好的测试泛化。然而，现有的方法将相同的恒定洪水水位应用于所有训练样本，这在本质上假设所有样本具有相同的难度。本文提出了 AdaFlood，一种新颖的洪水正则化方法，根据样本的难度调整每个训练样本的洪水水位。直观来说，由于训练样本的难度不同，目标训练损失应该与实例有关系。在涵盖文本、图像、异步事件序列和表格等四种不同输入模态的数据集上的实验证明了 AdaFlood 在不同数据领域和噪声水平下的多功能性。

Nov, 2023

本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

Aug, 2023

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

该论文提出了一种基于自适应框架的 CNN 正则化方法，在目标领域使用有限的训练数据进行迁移学习。该方法没有明确目标，通过简单地尝试将图像表示回归到伪回归目标，动态地对 CNN 进行正则化。实验结果表明，与最近的一些最先进的方法相比，伪任务正则化改进了分类精度。

Aug, 2019

本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

Dec, 2022

本文介绍了一种基于权重移动距离的神经网络泛化界定方法，提出了一种基于传递学习的初始权重的微调算法，通过在半径较小的搜索空间内限制假设类来实现更好的泛化性能，并且通过实验证实了该算法的有效性和优越性。

Feb, 2020

我们提出了一种基于潜在特征解缠的方法，以明确建模并进一步消除导致特征差异的潜在特征，从而提高深度神经网络对抗样本的鲁棒性。实证评估表明，我们的方法超越了现有的对抗微调方法和对抗训练基线。

Jan, 2024

本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。

Mar, 2021