task similarity | BriefGPT - AI 论文速递

关键词task similarity

搜索结果 - 14

解耦和减轻任务相似性对于持续学习的影响
连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。
PDFa month ago
ICLR任务相似性和过度参数化对灾难性遗忘的联合影响 -- 一种分析模型
我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插
PDF5 months ago
学会初始化：元学习是否可以改善提示调整中的跨任务泛化？
本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善 PT 中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析
PDFa year ago
在 Fine-tuned 语言模型中的任务特定技能定位
本文针对预训练语言模型任务中局部技能优化问题提出一种通用解决方案，该方案可显著提高模型预测精度，并在参数效率和任务相似性方面得到优化。
PDFa year ago
教师 - 学生设置下的持续学习：任务相似性的影响
研究在老师 - 学生设置下深度神经网络中的连续学习，通过探究老师之间的相互作用关系，发现任务相似性在中间层与特征层之间存在复杂的相互作用，会对初始遗忘转移率、最大遗忘转移率以及长期遗忘转移率产生影响。这些结果有助于阐明导致灾难性遗忘的多种因
PDF3 years ago
EMNLP跨强度训练挑战：自然语言处理中的少样本学习和多任务泛化
研究表明，通过利用学习先前任务时获取的知识，仅使用少量示例即可有效地学习新语言任务。本文探讨了跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同自然语言处理任务的更好的少样本学习器。我们引入了 CrossFit 问题设置来研究跨任务泛
PDF3 years ago
IJCAI马尔可夫决策过程相似性度量的分类方法
本文研究任务相似性、转移学习及相似性度量等问题，提出 MDP 相似性指标分类方法，并分析其相关定义，最后对现有学说进行综述和未来发展方向的探讨。
PDF3 years ago
AAAI用于超参数优化的 CMA-ES 热启动
通过任务相似度的定义，将先前任务的经验直接迁移到初始化过的方法 CMA-ES 中，从而提高了它在具有相似任务的超参数优化中的表现。
PDF4 years ago
ICML深度强化学习中的知识转移 (REPAINT)
本研究提出了一种名为 REPAINT 的深度强化学习知识转移算法，它不仅在 On-policy 学习中传递了预训练模型的表征，还使用基于优势的经验选择方法在 Off-policy 学习中传递了遵循预训练模型收集的有用样本，实验结果表明 RE
PDF4 years ago
通过 NTK 重叠矩阵理论分析灾难性遗忘
本文介绍了一个叫做 “持续学习” 的学习模式，研究了一个叫做 “灾难遗忘” 的问题，提出了一种叫做 “NTK overlap matrix” 的任务相似度度量方法，并介绍了一些算法来减轻灾难遗忘产生的影响。其中，我们提出一种基于主成分分析的
PDF4 years ago
灾难性遗忘的解剖：隐藏的表示和任务语义
本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFA
PDF4 years ago
通过最优传输计算几何数据集之间的距离
本文提出了一种基于最优传输理论的数据集距离度量方法，不依赖于具体模型参数及训练数据，能够更好地比较数据集的相似度，与转移学习难度具有很好的相关性。
PDF4 years ago
Task2Vec: 元学习任务嵌入
本文介绍了一种提供视觉分类任务向量表示的方法，该表示可用于推断任务及其关系的性质，并提供了独立于细节（如类标签语义的理解等）的任务的固定维度嵌入。我们还展示了该框架的实用价值以及通过学习嵌入度量来选择预训练特征提取器的简单元学习框架。选择具
PDF5 years ago
多任务学习用于情境赌博机
本文提出了一个基于上限置信区间的多任务学习算法框架，用于处理具有高任务相似性的上下文型臂带问题，并揭示了此算法在数据中高任务相似性的优势。
PDF7 years ago