- 利用低维参数子空间表示输入变换
通过子空间可配置网络探讨模型权重最适合为参数化的连续转换低维线性子空间的配置假设,为解决输入转换和最优模型权重之间的基本关系提供了一种新的方法。
- ICLR基于实证分析的 PEFT 技术在 LLM 中的优势和劣势
本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning(PEFT),并通过对 FLAN-T5 模型的综合测试和分析,提出了选择 fine-tuning 技术的最佳方法, - 模型适应和集成的个性化多器官分割
本文提出了一个新的基于模型适应和模型融合的双阶段方法,该方法利用现成的单器官分割模型来开发适用于目标数据集的多器官分割模型,从而消除了多器官分割中对有标注数据依赖的问题。实验结果表明,此方法可以有效地利用现成的单器官分割模型来获得高准确度的 - 边缘设备的无需模型微调的离域小样本学习
论文提出了一种轻量级、即插即用的 Few-shot 学习模块 —— 任务感知正则化 (TANO),通过协调多组规范化统计量的更新,实现了多个用户组的属性覆盖,并在原域内和跨域通用性实验中表现出较高的准确性、推理速度和模型大小。
- CVPR单域泛化的元因果学习
本文提出了一种新的学习范式,即模拟 - 分析 - 减少,旨在模拟域漂移并减轻模型自适应过程中的域漂移,我们使用元因果学习方法来学习元知识,在测试期间使用元知识分析目标域和源域之间的偏移,并将因果推理纳入基于因素的域对齐中,实验证明了我们的方 - CVPR自适应无数据量化
本文提出了一种基于生成对抗网络的自适应无数据量化方法,通过优化生成样本与量化网络间的适应性,以达到优化网络压缩和适应性的效果,实验证明该方法优于现有技术。
- 编码器 - 解码器模型的秩一编辑
本研究在 Encoder-Decoder transformer 模型中提出了 4 种编辑任务,并展示了这种直接干预方法的高效性,只需一个有效实例就能修复错误的负面模型行为。
- 超调:大型语言模型的自适应调节方法,无需借助反向传播算法
本文提出了 HyperTuning 方法用于模型适应,可以生成特定任务的参数并在大量多样化语言任务上进行多任务微调。通过在 P3、MetaICL 和 Super-NaturalInstructions 数据集上的表现,证明该方法可以有效地为 - 基于输入的自适应生成网络用于冻结视觉转换器
本论文介绍了一种基于视觉提示学习的模型适应方法,提出了 Prompt Generation Network (PGN) 网络,通过从端到端学习的词汇表中采样生成高性能、与输入相关的提示,从而使得预先训练的模型更适应不同的数据集。实验表明,P - 基于转录器的自动语音识别域自适应过程中的损伤控制
本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题,提出了几种技术,如限制培训策略和规范化适配器模块,应用于 Google Speech Commands 和英国爱尔兰英语口音数据集,并在新的目标域上取得了良好的结果并限制了原 - 语言模型适应的视觉比较
本研究介绍了适配器作为一种轻量级的模型适应方法,为了协助上述过程中产生的新挑战,提供了支持适配器评估的可视化工作区,研究显示,对于训练语言消歧任务的适配器而言,语境 - 0(去语境化)嵌入引入了一种新的偏差类型,这些是上下文 - 0 嵌入的 - 具有动态参与智能体的可转移的多智能体强化学习
本研究提出一种具有 Few-shot Learning 算法的网络架构,允许在集中式训练期间代理的数量变化,这可以使新代理的模型适应速度比基线模型快 100 多倍。
- SIGIR元学习权重调节器实现可适应的文本匹配
本文提出了一种元学习方法 Meta-Weight Regulator(MWR),可用于将源数据上训练过的神经文本匹配模型适应到少样本目标数据或任务上,以显著提高模型跨数据集和跨任务的适应能力。
- CVPR基于图式元聚类和正则化适应的局部自适应人脸识别
本文提出了一种基于环境数据的本地自适应人脸识别方法(LaFR),采用基于图卷积网络(GCN)的嵌入式聚类模型,在非监督学习方式下自动训练本地适应模型,并通过新型正则化技术提高模型适应性能,从而实现在不泄露本地客户隐私的前提下,提高人脸识别模 - 调节还是不调节?零样本模型用于法律案例蕴含
本研究通过参与 COLIEE 2021 的法律案例蕴含任务,考察了预训练语言模型在法律领域的迁移能力。实验结果表明,在有限标记数据的情况下,与适应目标任务的 Fine-tuning 模型相比,没有或只部分适应的模型对数据分布的更改更加稳健。
- 通过重写预测规则来编辑分类器
本文提出了一种通过直接重写预测规则来修改分类器行为的方法,该方法几乎不需要额外的数据收集,并可应用于各种设置,包括适应模型到新环境和修改模型以忽略杂散特征。
- CVPR稀疏 Imagenet 模型的迁移效果如何?
本文深入研究了在 ImageNet 数据集上,基于无结构剪枝的卷积神经网络模型的迁移学习,表明稀疏模型在高度稀疏的情况下可以匹敌甚至超越密集模型的迁移性能,并且可以带来显著的推理甚至训练加速。同时观察并分析了不同剪枝方法之间的行为差异。
- EMNLP面向语音识别的统一说话人适应方法
本文提出了一种基于特征适应和模型适应的统一说话人自适应方法,其中采用一种说话人感知的持久性记忆模型进行特征适应,并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明,相对于基线方法,在一般说话人自适应 - 类增量学习的共同传输
CO-transport for Class Incremental Learning (COIL) is proposed as a method for incremental learning that utilizes class- - CVPR多源域适应的动态传递
本文提出动态转移 (Dynamic Transfer) 方法应对多源领域间的冲突,它能够通过对样本进行模型参数的适应性调整,突破领域界限,简化源域和目标域之间的对齐。实验结果表明,我们提出的动态转移方法在多源领域适应数据集 (DomainN