- $\mu$LO: 计算高效的元泛化学习优化器
通过使用最近提出的最大更新参数化理论 (Maximal Update Parametrization),我们扩展了学习优化器的元训练问题,实现了从小型模型到大型模型的零 - shot 泛化 (optimizer hyperparameter - KDDMAML-en-LLM:模型不可知的元训练 LLMs 对于改进上下文学习
我们提出了 MAML-en-LLM,一种新的元训练大型语言模型的方法,可以学习到真正可泛化的参数,不仅在不同任务上表现良好,还适应了未知任务,并且在性能和适应性能上得到了显著提升。
- 深度学习中学习重新加权示例的重新实现
通过元训练和在线权重逼近方法,本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题,并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。
- 无情节的少样本学习任务选择
通过选择无情节的任务并使用相似度作为选择标准进行元训练,可以在少样本学习任务中提高效果。
- DiffKendall:采用可微分肯德尔秩相关进行少样本学习的新方法
在少样本学习中,我们证明了特征通道的重要性排名是比几何相似度度量更可靠的指标,并且使用肯德尔排名相关性来替代几何相似度度量在推理过程中能够显著提高少样本学习的性能。
- ACL利用演示检索进行元训练,以实现高效的少样本学习
本研究提出了一种基于演示检索的元训练方法,使用密集的段落检索器检索出与示例相似的标注演示,用于元训练,以训练参数高效的模型,从而在更广泛的 NLP 任务中实现更好的泛化性能。
- 在线进化策略中的噪声重用
本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略(NRES),并在多种应用中进行了实验。结果表明,相对于现有的自动微分和进化策略方法,NRES 在壁钟速度和总展开步数方面的收敛速度更快。
- ICLRM-L2O:面向可泛化的学习优化 —— 通过测试时间的快速自适应
该论文研究了学习优化(L2O)在新领域中的迁移性问题,并提出了一种元训练的 L2O 优化器解决方案,可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。
- VeLO:通过扩展规模训练多功能学习优化器
通过与深度学习相同的扩展方法,我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络,可摄取梯度并输出参数更新,经过数千个 TPU 月的计算,不需要超参数调整,可以自适应问题进行优化。
- 猜测指令!翻转学习使语言模型更强的零样本学习者
本文提出了一种新的元训练方法 —— 反转学习,创新性地从输入样例和标签预测任务指令。它可以显著提高语言模型的迁移学习能力,特别是对于未见标签的任务,平均 F1 值可提高 20%。
- 超越贝叶斯最优性:元学习你所知道的但你不知道的
通过改进元学习算法,我们展示了贝叶斯最优性之外风险和歧义敏感性同样可以作为数值优化问题的解出现,并在决策实验中通过实验验证了我们的提议。
- ECCV对比学习的少样本分类
本文提出了一种新的对比学习框架,将其无缝地整合到预训练阶段和元训练阶段,以提高少样本分类的性能,并使用交叉视图的情节训练机制进行最近的质心分类,并采用基于距离缩放的对比损失。
- ICMLXtarNet: 用于增量式少样本学习的任务自适应表示学习
本文提出了 XtarNet 算法,通过元训练得到任务适应性表示(TAR),用于增量小样本学习。XtarNet 能够将基础特征和元训练模块提取的新特征相结合,生成有效的 TAR,使得分类器能够快速适应新任务,实验结果表明其性能达到最先进水平。 - 使用已学习优化器使模型对输入噪声具有鲁棒性
通过元训练学习的优化器对图像分类模型进行训练,以使其对常见图像污染更加健壮,并且发现这种方法提供了一种有效的改善深度学习模型鲁棒性的方法。
- EMNLP多源域自适应的专家混合模型
本论文提出了一种用于多源无监督领域自适应的专家混合方法,旨在显式地捕获目标示例与不同源域之间的关系,以点到集度量为表达方式,通过元训练无监督地学习这个度量,并在情感分析和词性标注方面进行实验,证明了我们的方法始终优于多个基准线,并可以稳健地 - 训练医学影像分析系统,如同放射科医生
本文提出了一种基于 “元训练” 的医学图像分析模型训练方法,通过使用选自小型数据集的任务来设计模型,利用教师 - 学生课程学习进行分类,测试结果表明该方法在自动乳腺肿瘤筛查分类方面取得了最佳效果。
- ICML可扩展且泛化的学习优化器
通过引入层次循环神经网络优化算法和基于元学习的小任务集,实现了一个新的学习梯度下降优化器,解决了在更大的问题上扩展能力不足和泛化能力受限问题,并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架