- AutoLoRA: 基于元学习的低秩适应中矩阵秩的自动调整
AutoLoRA 是基于元学习的框架,用于自动识别每个 LoRA 层的最佳秩,通过与选择变量相关联的方法确定最佳秩,并在自然语言理解、生成和序列标记等任务上证明了其有效性。
- MetaSeg:内容感知元网络用于全监督语义分割
通过使用元学习技术,本论文提出了一种基于 CAM-Net 的新型语义分割方法 MetaSeg,该方法通过生成像素权重来抑制带有错误伪标签的噪声区域,并利用图像内容的增强特征提供简单可靠的优化指导,从而实现了与完全监督模型接近的出色性能,为全 - G-Meta: 大规模推荐系统的 GPU 集群分布式元学习
提供了一种针对基于元学习的 DLRM 模型的高性能框架,名为 G-Meta,在 GPU 集群上实现大规模训练,通过数据并行和模型并行来实现高速分布式训练,并提出了 Meta-IO 管道来解决 I/O 瓶颈,具有显著的训练速度和统计性能改进。
- 连续的模型不可知元学习用于小样本故障时间序列预测
通过引入一种新颖的 “伪元任务” 分割方案,将连续时间序列作为伪元任务,使我们的方法从数据中提取更全面的特征和关系,从而实现更准确的预测。此外,我们引入了一种差分算法来增强我们的方法在不同数据集上的鲁棒性。通过对几个故障和时间序列预测数据集 - 探究迁移学习和元学习的相对性能
该研究对两种不同方法进行了广泛调查研究,即迁移学习和元学习,以解决机器学习中有限数据的问题,并得出了在不同条件下两种方法的表现并评估了训练数据集大小对它们的影响。这项综合性探索为确定在任何情况下选择最适合的方法提供了见解。
- 超越微调:从模型中学习的调查
在基础模型的基础上,通过 Learn From Model 技术对模型进行调优、蒸馏和元学习等方面的研究,以提升基础模型的能力和性能,为未来的研究探索和解决待解决的问题提供参考。
- 实现可扩展的元学习
该研究通过引入 SAMA 来实现可扩展的元学习,它通过避免显式计算二阶梯度信息和利用一阶梯度的有效分布式训练技术,灵活地支持基本元学习程序中广泛的自适应优化器,并在多个大规模元学习基准测试中展示出吞吐量提高和内存消耗减少的优势,同时还通过数 - 增强元学习范式的简单而有效策略
元学习是一种有前途的范式,可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程,并用预期尾风险的度量来元训练模型,提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。
- 图对比学习遇见图元学习:一种针对少样本节点任务的统一方法
我们通过广泛的实验验证了对比学习和元学习相结合的新模式 COLA 在少样本节点分类任务中的重要性,并证明 COLA 在所有任务上都取得了新的最先进水平。
- 检索增强的元学习用于低资源文本分类
基于检索增强元学习 (RAML) 的元学习方法,通过从外部语料库中检索非参数性知识以进行推理,以解决元学习场景中缺乏多样化训练数据导致的泛化性能差的问题,并在低资源文本分类任务中显著优于当前最优模型。
- 基于解剖一致的伪模态元学习的领域泛化
深度模型在应用于未知领域时往往存在泛化能力有限的问题,特别是在视网膜血管分割任务中,我们提出了一种基于解剖一致伪模态的元学习方法(MAP),通过学习结构特征来提高模型的泛化能力。我们首先利用特征提取网络生成三个不同的伪模态,这些模态与原始图 - 元学习和预测提前期
我们提出了一种元学习方法(FEML),利用来自其他数据集的样本通过对抗学习作为辅助任务来增强目标数据集的时间序列,同时展示了 FEML 可以在数据集之间进行元学习,并通过对目标数据集进行辅助样本的对抗生成学习,改善了预测性能,相较于单一任务 - ACL基于提示元学习的零样本和小样本事件检测
本文提出了一种基于元学习的框架 MetaEvent,用于零样本和少样本事件检测,采用填空提示和触发词感知软语言器等模块快速适应未见过的任务,通过最大均值差异构造对比元目标学习类别间差异,实现无先前知识的零样本事件检测与少样本事件检测,实验证 - ACLMetaAdapt: 基于 Meta Learning 的领域自适应小样本谣言检测
本文提出 MetaAdapt,一个基于元学习的方法,旨在解决在社交媒体等新兴领域中针对虚假信息检测的数据稀缺性问题,具有更好的领域适应性、优秀的表现和大幅减少的参数。
- 多还是少的样本?比较加密流量分类中的迁移、对比和元学习
研究了在流量分类领域中,如何通过使用代表性更强的表示来减少对大规模标注数据集的依赖性,通过比较迁移学习、元学习和对比学习,发现对比学习是最佳方法,而元学习最差,树状机器学习模型对于小任务适用,而深度学习方法正在通过复用学习表示达到与树状模型 - EMNLP自监督元学习用于知识图谱补全的自蒸馏
本文提出了一种自我蒸馏框架,使用元学习 (MetaSD) 和动态修剪来完成知识图谱的处理,旨在学习压缩的图形嵌入,并解决长尾样本问题。在实验中 MetaSD 表现出与强基线的竞争性表现,同时比基线小 10 倍。
- CVPRMeta 样式变换器:可控的零样本和少样本艺术风格迁移
该论文提出了一种名为 Master 的新型 Transformer 模型,通过共享一组参数来降低总参数数量、提高训练鲁棒性、自由控制堆叠层数来控制样式化的程度,同时在内容特征和样式特征交互前采用可学习的缩放操作来更好地保留原始相似性,以实现 - CVPR元组合指代表述分割
本文通过元学习的角度,提出了一种 Meta Compositional Referring Expression Segmentation (MCRES) 框架,以提高模型的组合泛化性能。我们的框架可以有效地驱使模型更好地捕捉单个概念的语义 - ICLR元时点过程
本文提出了将时间点过程 (TPP) 作为神经过程 (NP) 的一个实例,并将其训练于元学习框架中,使用上下文集来建模 TPP,引入了本地历史匹配来帮助学习更丰富的特征,并在公共基准数据集和任务上展示了该方法的潜力。
- ICML自我参照元学习消除元优化
研究自指元学习系统,探讨其与环境相关和基于记忆体的元学习的关系,提出一种名为‘fitness monotonic execution’的方法来避免显式元优化,通过分配更多的计算资源使神经网络自我修改来解决控制问题并学习如何学习。