- 无需排练的模块化和组合式连续学习语言模型
MoCL 是一种无需复习的模块化和组合的连续学习框架,通过不断向语言模型添加新模块并与现有模块组合,有效地促进知识传递。
- CVPRGoodSAM: 透过分段模型建立领域和能力差距,实现适应扭曲感知的全景语义分割
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion - CVPR借助语言引导监督增强视觉持续学习
利用预训练语言模型(PLMs)中的语义知识替换持续学习(CL)中的分类器,生成对每个类别的语义目标作为监督信号,以减少遗忘并促进知识传递。
- CVPREventDance: 无监督的无需源域跨模态适应用于事件驱动的物体识别
通过无标签目标事件数据的提取知识,提出了一种用于无监督源自由跨模态适应问题的新框架 EventDance,包括基于重构的模态桥接模块(RMB)和多表示知识适应模块(MKA),并与源模型相互更新,从而使得 EventDance 能在多个领域进 - FairSTG: 通过协作的样本级优化来对抗性能异质性
该研究论文提出了一种面向公平性的模型无关的时空图学习框架(FairSTG),利用先进样本与挑战性样本之间的协同混合来解决不公平的时空学习中的性能异质性问题,从而提高公平性质量并保持可比较的预测准确性,并能够通过样本级的检索和补偿对空间和时间 - 差分隐私下的联邦迁移学习
在这篇论文中,我们以一个联邦迁移学习框架解决了数据异构性和隐私保护这两个突出的挑战,旨在在遵守隐私约束的同时通过利用来自多个异构源数据集的信息来增强目标数据集上的学习能力。我们严格地提出了 “联邦差分隐私” 的概念,为每个数据集提供隐私保证 - 通过师生无数据知识迁移训练未见过的陌生场所的自定位模型
该研究提出了一种适用于开放世界分布式机器人系统的新型训练方案,其中一个机器人(学生)可以向在陌生地点遇到的其他机器人(教师)寻求指导,通过设计一个出色的学生 / 提问者与教师的交互,得到有效的问答序列,用作学生自定位模型的伪训练数据集。该方 - 多个主成分分析研究之间的知识转移
我们提出了一种两步传递学习算法,通过从多个主成分分析(PCA)研究中提取有用信息来增强目标 PCA 任务的估计精度,并对理论进行了分析,证明了在知识传递之后经验谱投影矩阵的双线性形式在较弱的特征值间隔条件下渐进地正态分布。
- 无监督预训练的泛化能力研究
运用一种新的理论框架,研究无监督预训练对细调模型泛化能力的影响,并通过分析两个具体场景的泛化上限,提出了一种新的预训练正则化方法,从而促进了细调模型的泛化能力。
- 跨域多实体推荐的有效两阶段知识迁移
基于多实体知识传递的 MKT 框架在电子商务平台中的推荐内容上,通过预训练和微调的方式解决了跨实体推荐的问题,并通过离线和在线实验证明了其优越性。
- AAAI持续学习中自然语言处理的下一个任务和领域的跳转
HOP 方法使用适配器泛化预训练模型、计算嵌入表示分布的高阶矩来区分不同任务和领域的独立和相关统计信息,并使用针对每个最终问题专门设计的辅助头处理丰富的信息,证明了其在 4 个 NLP 应用,5 个基准测试和 2 个 Continual L - 大型语言模型中的连续预训练探索:洞见与影响
这篇论文研究了大型语言模型(LLMs)中不断学习(CL)领域的发展,重点是开发高效和可持续经验的训练策略。通过不断适应域预训练,我们的研究评估了 LLMs 在不同数据环境中的适应性和能力,并引入了一个新的基准来衡量这种适应能力,揭示了关于知 - PEMT:多任务相关导引的专家组合混合使得参数高效迁移学习
我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT),通过在源任务上训练适配器的加权组合来捕捉可转移的知识,同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性,以充分利用任务特定的知识并提高稀疏性。实验证明,我们 - 学习领域不变的少样本动作识别的时间动态
我们提出了 DITeD,或称为领域不变的时间动力学,在有限的样本和分布偏移的情况下,通过快速适应预训练模型来识别和利用预训练模型学到的可转移知识,其中关键挑战是如何识别和利用潜在变量之间的时间不变性(领域不变性)进行知识转移。
- 通过策略空间中的最优传输测量强化学习中的探索
量化和比较强化学习算法通过知识传递在探索和学习方面的努力,并使用基于最优输运的度量方法比较强化学习和监督学习算法在数据分布空间中的路径总长度,从而提供有关强化学习算法的探索行为的洞见并比较不同算法的探索行为。
- 精确知识传递通过流匹配
我们提出了一种新颖的知识转移框架,引入连续归一化流进行渐进知识转化,并利用多步采样策略实现精准知识传递。通过引入随机插值,我们理论上证明了 FM-KT 的训练目标相当于最小化教师特征映射或逻辑负对数似然的上界。此外,FM-KT 可以看作是一 - 多语种机器翻译中目标方传输和正则化的角色解构
多语言机器翻译(MMT)通过不同语言对之间的知识迁移而受益。本文通过在目标辅助语言方面进行大规模研究,涉及语言相似性和语料库大小等两个维度,展示了知识迁移对主要语言对的动态影响。我们发现,在语言相似的辅助目标语言中,存在强烈的正向知识迁移能 - 图领域适应:挑战、进展与前景
图领域适应(Graph Domain Adaptation)是一种有效的跨图知识转移范式,该论文详细调查了图领域适应的研究现状、挑战、代表性工作以及展望,并提供了第一份图领域适应调查报告。
- 用蒸馏进行动态原型适应的小样本点云分割
通过动态原型适应方法解决了少样本点云分割中的物体变异问题,并且在两个常用数据集上显著超越了最先进方法。
- 探索基础模型在眼底图像上的迁移性:应用于高血压性视网膜病变
使用基于 Imagnet 预训练的深度学习模型是处理医学图像分类中数据稀缺性的传统解决方案。然而,相关文献支持此策略可能由于领域之间的高差异性而带来有限的增益。目前,适应领域专业化基础模型的范式证明是一种有前景的替代选择。本文通过 CGI-