连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

May, 2024

本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

Apr, 2019

最近的研究探讨了机器学习模型输入的局部替代方法对对抗扰动的脆弱性，其中在复杂模型下，解释被操纵，但原始输入的意义和结构保持相似。虽然已证明许多方法存在弱点，但其中的原因仍未得到深入探究。对可解释人工智能（XAI）上的对抗攻击的核心概念是用于计算一个解释与另一个解释之间差异性的相似度度量。选择不当的相似度度量可能导致对 XAI 方法有效性的错误结论。过度敏感的度量方式导致夸大的脆弱性，而过于粗糙的方式则低估了其弱点。我们研究了多种基于文本排序列表的相似度度量，包括 Kendall 的 Tau、Spearman 的 Footrule 和 Rank-biased Overlap，以确定对常见对抗攻击过程生成的结论产生多大的改变类型的度量或成功阈值。发现某些度量方式过于敏感，导致对稳定性的错误估计。

Jun, 2024

通过引入基于属性的任务属性距离（TAD）度量来量化任务相关性，本文探讨了少样本学习（FSL）中任务之间的关系对模型在新任务上适应困难程度的影响，并使用实验证实了 TAD 度量能够有效量化任务相关性并反映不同 FSL 方法在新任务上的适应困难程度。

Mar, 2024

本文提出了一种基于可靠查询的网络链路预测方法，通过 Bayesian Stackelberg 游戏框架，自动化地选择可靠查询，增加链路预测的鲁棒性和数据安全性，实验结果表明该方法有效性较好。

Sep, 2019

大型语言模型的性能在许多下游任务上都很高，但并非所有任务都能实现高性能。我们通过与下游基准测试的大规模比较，测试了预训练数据与任务数据之间的相似度是否与语言模型的性能相关。我们惊讶地发现，在其他基准测试中，相似度指标与准确性甚至彼此之间都没有相关性。这表明预训练数据与下游任务之间的关系比通常认为的更加复杂。

Nov, 2023

该研究旨在开发一种无监督学习框架，能够在未标记的事件触发时间序列中学习任务感知的相似性，该框架利用多尺度自编码器和高斯混合模型有效地学习时间序列的低维表示，得到的相似度量易于解释，通过广泛的实验表明，该方法明显优于现有的方法。

Jul, 2022

评估在现代自然语言处理中起着重要作用。该论文介绍了一种理论工具和一种实际算法，用于计算基准任务之间的相似性，称为 “Vygotsky 距离”。该相似性度量的核心思想是基于给定任务上 “学生” 的相对表现，而不是任务本身的特性。在维格斯基距离接近的两个任务上，模型往往具有类似的相对性能。因此，通过了解任务之间的维格斯基距离，可以显著减少评估任务的数量，同时保持高验证质量。包括 GLUE、SuperGLUE、CLUE 和 RussianSuperGLUE 在内的各种基准测试的实验表明，至少可以将大多数自然语言处理基准测试的任务数量减少 40%。最重要的是，维格斯基距离还可以用于验证新任务，从而增加未来自然语言处理模型的泛化能力。

Feb, 2024

通过在特征表示上进行对抗攻击，使用语义相似性对分类器进行攻击，同时使用低频率约束，保证对抗样本和原始样本的感官相似性和跨数据集泛化。

Mar, 2022

我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插值阈值附近，遗忘随着期望任务相似性的减小而单调减少。

Jan, 2024