- 基于张量积的专家混合模型
在多任务学习中,我们提出了一种新的模块化语言模型(TensorPoly),它通过精细的路由方法和参数效率平衡来减轻负面干扰,并通过高效的自适应方法在多任务迁移学习中取得更好的结果。
- 重置与精炼:克服连续强化学习中的负迁移的方法
通过实验证明 CRL 中的负迁移问题无法通过最近的一些减轻 RL 损失的研究成果来有效解决,所以我们提出了 Reset & Distill (R&D) 方法来克服 CRL 中的负迁移问题,该方法通过重置代理的在线演员和评论网络以学习新任务, - 解决图上的负迁移
本研究探讨图传递学习中的负迁移现象以及结构差异对图节点嵌入的影响,提出了两种有效的方法 Subgraph Pooling (SP) 和 Subgraph Pooling++ (SP++),通过转移子图级别的知识来减少图之间的差异。
- 在线自适应学习下的概念漂移多流分类的在线增强学习
本文提出了一种新颖的在线增强自适应学习 (OBAL) 方法,通过自适应学习不同流之间的动态相关性,有效地解决了多流分类中负面转移的问题。
- 机器人中的迁移学习:即将到来的突破?承诺与挑战综述
通过一个综述性论文,我们统一了机器人学领域中的迁移学习概念,并提供了首个考虑机器人、任务和环境关键概念的分类法,同时也强调了在实现迁移学习的全部潜力方面最重要的障碍,包括迁移的不同抽象层级,迁移差距和质量的量化需求,以及负向迁移所带来的危险 - 跨领域动作识别的多模态实例修正
我们提出了一种多模态实例细化(MMIR)方法,通过强化学习来减轻负迁移,该方法在双模态中训练了一个强化学习代理,在每个领域中选择出负样本以精炼训练数据。我们的方法在基准 EPIC-Kitchens 数据集上表现优于其他几种最先进的基线方法, - 打破负迁移之谜:跨领域序列推荐的合作博弈论方法
这篇论文研究了多领域顺序推荐(CDSR)的问题,提出了一种新的 CDSR 框架来解决负迁移问题,并使用合作博弈论来估计领域对模型性能的边际贡献,以及引入层次对比学习方法来缓解负迁移。通过在两个真实数据集中跨十个不同领域进行实验,证明了我们的 - 概念级微调对防止负面迁移的重要性
通过概念微调(Concept-Tuning)方法,可以改善预训练模型的特征表示,减少罕见特征和虚假关联特征的负面影响,进而提高细调方法在各种数据集上的表现。
- 人群健康管理中信息转移价值的量化
这篇论文介绍了一种基于仿真结构群体的传输策略决策过程,用于解决结构健康监测中的分类问题,并支持领域适应,通过计算信息传输的预期价值来预测目标领域的分类性能。
- 具有时间注意力的对比模块的多任务强化学习
本文提出了一种称为对比模块与时间注意力(CMTA)的方法,通过对比学习同时结合细粒度的共享模块和时间注意力来解决现有多任务强化学习方法所存在的限制。CMTA 方法能够在任务内减少负迁移,提高模块化方法的泛化能力和性能,在 Meta-Worl - 贝叶斯主动元学习的基本困境
贝叶斯主动元学习是一种序列最优实验设计的框架,旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题,然而,在某些情况下,贪婪追求传递性知识可以损害可转移参数的估计,引起所谓的负转移。
- FairBranch:在任务组分支上对公平多任务学习的公平冲突纠正
通过评估学习参数的相似性,将相关任务分组以减轻负迁移,并在这些任务组内纳入公平性损失梯度冲突校正,从而解决多任务学习中的负迁移和偏见传递问题。实验证明,FairBranch 在公平性和准确性方面优于最先进的多任务学习方法。
- 偏域自适应的鲁棒类条件分布对齐
我们提出了一种解决方案,通过探索超过一阶矩来稳健地对齐分类分布,克服了现有方法在部分领域适应设置中由私人来源类别的不希望样本引起的负转移和降低分类性能的问题,同时设计了强健的伪标注以实现高效的目标监督。实验结果和消融分析表明,我们提出的模型 - STEM:发挥嵌入式在多任务推荐中的力量
在多任务学习中,使用共享和任务特定的嵌入(STEM)范式,通过 STEM-Net 模型有效捕捉任务特定的用户偏好,消除负迁移,超越单任务模型,提供卓越的性能和优势。
- 扩散模型中负迁移问题的解决
本研究旨在从多任务学习 (MTL) 的角度分析扩散训练,提出了两个观察结果和应对负迁移的方法。我们通过对噪声去除任务进行训练,借助区间聚类将大量任务分为小块,并利用 MTL 方法提高样本质量。
- ACL用 BERT 模型建模第二语言习得:SLABERT Talk Pretty One Day
利用 Transformer-based SLA 模型研究母语语言 (L1) 对于英语作为第二语言 (L2) 学习的积极和消极转移,使用一个包括五种语言的多语言数据集,表明语言家族距离预测了更多的负面转移并且口头语言数据比脚本语言数据更有助 - 运用平衡混合专家模型对多元软测量任务关系进行建模
本研究提出了一种基于混合专家(MoE)和任务梯度平衡(TGB)的平衡混合专家模型(BMoE),通过表述任务关系和动态平衡任务梯度,解决了工业软传感模型中的数据效率和负迁移问题,并在典型的硫回收装置上获得了显著优异的表现。
- ACL多任务学习整合多项技能何时有效?金融 NLP 案例研究
该论文研究了多任务学习在金融自然语言处理领域中的应用,发现多任务学习成功的关键在于技能的多样性、任务的关联性以及模型共享能力的平衡,提出在任务多样但相关、任务聚合尺度和模型共享能力平衡的情况下,多任务学习可以发挥其优势。
- 使用代理模型识别多任务学习中的负迁移
本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法,该方法使用线性回归模型预测未见过的子任务组合的性能表现,利用其提供的子任务与目标任务的相关性分数进行选择,可以更准确地预测负面转移,并显著提高现有多任务学习算法的性能。
- EMNLP文本到文本多任务学习器是否受到任务冲突的影响?
该研究研究了多任务学习中的任务冲突和负转移的影响,发现新型的多任务学习架构采用共享编码器和语言模型解码器,跨多个任务表现良好。