- FeMLoc:面向物联网网络中自适应室内无线定位任务的联邦元学习
FeMLoc 是一个联邦元学习框架,专注于室内定位领域,通过在众多边缘设备的不同定位数据集上进行协同元训练,以及在新环境中的快速自适应,实现了较传统神经网络方法更准确、更快速的室内定位,同时大大减少了指纹数据收集和校准的工作量,具备适应新兴 - ICLR自动机器学习和表格深度学习在数据稀缺分类任务中的评价
在小规模表格数据的低数据情况下,通过在 44 个表格分类数据集上的实验证明,L2 正则化的逻辑回归在大多数基准数据集上表现类似于最先进的自动机器学习框架(AutoPrognosis、AutoGluon)和现成的深度神经网络(TabPFN、H - 增强多模态学习:元学习的跨模态知识蒸馏处理缺失模态
我们提出了一种称为元学习的跨模态知识蒸馏的新方法,可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重,并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上,从而产生高准确性模型 - 基于元学习的多目标追踪
基于元学习的 MAML MOT 方法用于解决行人多目标跟踪中的样本稀缺问题,提高模型的泛化性能和鲁棒性,取得了在 MOT 挑战赛上的高准确率,为行人多目标追踪领域的研究提供了新的视角和解决方案。
- 基于任务内互注意力的视觉 Transformer 模型用于少样本学习
基于 Vision Transformer (ViT) 架构,本文提出了一种用于少样本学习的任务内互注意方法,通过交换支持集和查询集的类别标记与图像片段标记,实现了互注意,从而加强了类内表征,并促进了同一类别样本之间的相似性。与最先进的基准 - ICLR通过视觉领域提示生成适应分布转变
提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法,通过利用预训练模型和源域的相关信息从有限数据中提取领域知识,并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试 - 高效元学习驱动的轻量级多尺度少样本远程感知图像目标检测
利用单级检测器作为基准,结合元学习训练框架和新颖的元采样方法,提出了一种在遥感图像中进行少样本目标检测的方法,以提高检测准确性和元学习策略的效率。
- 大型语言模型实时学习的趋势和挑战:一项关键综述
该论文对大规模语言模型中的实时学习进行了综合分析,包括继续学习、元学习、参数高效学习和专家混合学习等实时学习范式。通过描述相关主题的具体成果和关键因素,论文展示了这些范式在实时学习方面的实用性。最后,该论文强调了当前研究领域中的问题和挑战, - MetaSD: 普适可扩展的气象要素降尺度统一框架
提出了一种结合元学习的统一降尺度方法,旨在便捷降尺度不同气象变量,在不同时空尺度下。实验证据表明,该方法在定量和定性评估方面优于现有的顶层降尺度方法。
- 基于 StackOverflow 的小样本命名实体识别
提出了 RoBERTa+MAML 方法,用于解决 StackOverflow 上的注释挑战,通过元学习来进行少样本命名实体识别,并在 StackOverflow 命名实体语料库上取得了 5% 的 F1 分数改进。通过增强领域特定短语处理来进 - 领域泛化通过元学习:一项调查
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习 - 共享仿射子空间中的元学习在赌博机中的应用
通过在线主成分分析学习低维仿射子空间,从而降低遇到的赌博机的预期遗憾,我们研究了通过充分利用其集中性解决多个情境随机赌博任务的元学习问题。我们提出并理论地分析了两种解决方法:一种是基于在不确定性面前的乐观原则,另一种是通过汤普森抽样。我们的 - 多任务磁共振成像重建基于元学习
使用元学习方法在多个 MRI 图像数据集上高效学习图像特征,并同时重建多种成像序列的高度欠采样 k 空间数据。
- 广义岭回归的元学习:高维渐近性,最优性和超协方差估计
提出并分析了一种基于元学习的方法,其中通过计算具有随机回归系数的高维多元随机效应线性模型的预测风险的精确渐近行为,选择广义岭回归中的权重矩阵为随机系数协方差矩阵的逆作为可扩展的度量;并通过使用从训练任务中获得的数据基于 Riemannian - CoLLEGe: 大型语言模型的概念嵌入生成
CoLLEGe 是一种新的元学习框架,能够使用少量示例句子或定义生成新概念的灵活嵌入,成功地应用于语言模型预训练,实现在多种挑战性实际场景中的新概念学习。
- IJCAI一体化:图神经网络的多任务提示(扩展摘要)
该研究论文介绍了一种创新的方法来解决预训练图模型与各种应用任务之间的差距问题,借鉴了自然语言处理中提示学习的成功。我们提出了一种适用于图的多任务提示方法,通过统一图和语言提示格式,使自然语言处理的提示策略能够适用于图任务,并通过分析图应用的 - XB-MAML: 学习可扩展基础参数以实现具有广泛任务覆盖的有效元学习
XB-MAML 通过学习可扩展的基础参数,在多领域元学习基准测试中超过现有方法,为获得多样的归纳偏差并结合以达到对多样未知任务的有效初始化开辟了新的机会。
- 超参数优化中基于编码器的预热方法的再思考
这项研究提出了一种基于编码器的异构表格数据表示方法,它通过自动提取重要的元特征来代替以往依赖预定义的元特征的方法,该方法在整合数据集和超参数优化暖启动等两个常见元任务中与 Dataset2Vec 和 liltab 在元 MIMIC 数据集上 - 在线自适应语言模型与分摊背景的记忆
大型语言模型的在线适应性方案,通过压缩与提取新文档中的信息,并存储在记忆库中,实现知识保留、问答和适应性,以提高效率和性能。
- 利用基类信息增强元训练的少样本学习
基于元学习框架,我们提出了一种端到端训练范式,通过整个训练集的信息与元学习训练范式相互增强,以解决少样本学习中训练成本高和性能欠佳的问题。而且,我们的框架是无模型偏见的,相比基准系统提升了约 1% 的性能。