本文提出了一种基于隐式微分的新框架 AuxiLearn，针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战，当已知有用的辅助任务时，可以学习一个网络将所有损失合并成一个连贯的目标函数，并且能够学习任务之间的非线性交互；当不知道有用的辅助任务时，可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中，AuxiLearn 均表现出比竞争方法更为出色的性能。

Jun, 2020

本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。

Mar, 2022

本文提出了一种自动重新调整辅助任务权重的方法，以减少主任务所需的培训数据，并在多个实验设置下证明了算法的有效性，同时避免昂贵的网格搜索。

Oct, 2020

在这篇论文中，我们提出了一种名为 Similar Target（ST）的类似目标攻击方法，通过促进每个模型梯度的余弦相似性，我们的方法规范化了优化方向，从而同时攻击所有替代模型，验证了我们的方法在提高对抗迁移性方面的有效性。在 ImageNet 上的实验结果证实了我们的方法在提高对抗迁移性方面的有效性，优于 18 个判别分类器和对抗训练模型的最先进攻击方法。

Aug, 2023

我们展示了在两种未被充分探索的情况下，两点之间的余弦相似度的梯度趋近于零：（1）如果一个点的幅度很大，或者（2）如果这两个点位于潜在空间的两端。令人意想不到的是，我们证明，优化点之间的余弦相似度会导致它们的幅度增加。因此，（1）在实践中是不可避免的。然后，我们观察到这些推导非常通用，适用于深度学习架构和许多标准的自监督学习（SSL）损失函数。这引导我们提出切割初始化（cut-initialization）：一种对网络初始化进行简单更改的方法，有助于所有研究的自监督学习方法更快地收敛。

Jun, 2024

既训练的图神经网络（Pretrained Graph Neural Networks）广泛应用于各种分子属性预测任务，但由于传统的精调对目标任务的训练会导致较差的泛化性能，因此本文探讨了通过与多个辅助任务共同训练的方式来适应目标任务的预训练图神经网络。实验证明了我们提出的方法的有效性，在最先进的预训练图神经网络上的改进效果达到了 7.7％，这表明在分子属性预测中，将辅助任务与目标任务的精调结合起来可以有效提高预训练图神经网络的泛化能力。

Jan, 2024

提出了一种名为 SLGrad 的样本级别加权算法，通过样本特定的任务权重，改变训练过程中的任务分布，以消除有害的辅助信号并增强有用的任务信号，从而提高神经网络的泛化性能。

Jun, 2023

提出了一种新的神经网络相似性计算方法，采用特征向量和梯度向量作为模型表示，结合快速绘图技术可以高效地比较不同数据集中神经网络的相似性。

Mar, 2020

本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

Jun, 2019

通过从辅助预测中提取 “Anytime” 预测，优化自适应加权和的辅助损失，以平衡损失以相同的比例进行优化的神经网络。实验证明，采用自适应加权的任意神经网络（ANNs）可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。

Aug, 2017