- 盖兹语机器翻译
通过研究各种方法改进低资源和古老语言机器翻译，包括从相关语言进行迁移学习，优化共享词汇和令牌分割方法，微调大型预训练模型，并使用大型语言模型实现少量训练样本的模糊匹配翻译，我们开发了一种基于语言相关性的多语言神经机器翻译模型，在标准的双语模 - TabRepo: 一个大规模的表格模型评估存储库及其 AutoML 应用
介绍了 TabRepo 数据集，包含了 1206 个模型在 200 个回归和分类数据集上的预测和评估指标。通过使用预计算的模型预测，可以在无需代价的情况下对超参数优化与当前 AutoML 系统的比较以及集成的效果进行分析。同时，展示了该数据 - 无监督表示学习辅助半监督元学习
通过一次性无监督元学习方法，利用增强样本作为查询集来学习训练样本的潜在表示，并通过温度缩放的交叉熵损失在元学习的内循环中防止过拟合。该方法是模型无关的，能够提高任何元学习模型的准确性，并通过在初始化和快速调适阶段采用目标有监督元学习的方式， - 应对稀有类别挑战的不协调检测的转移学习和主动学习
提出了针对稀缺类别问题的迁移和主动学习解决方案，并评估了其采集策略，包括一个提出的罕见类概率（PRC）方法；在社交媒体上收集认知失调的语言样本。PRC 是一种简单而有效的策略，可以指导注释并最终提高模型准确性，而按特定顺序进行迁移学习可以提 - GERNERMED++：德语医学 NLP 中的迁移学习
本文提出了一个用于德语医学自然语言处理的统计模型，通过迁移学习，预训练的深度语言模型，词对齐和神经机器翻译的多技术组合，有效地在实体识别性能上取得了强大的结果。该模型可作为基线模型，为德国医疗场景的 NLP 研究社区提供帮助。
- ACL使用迁移学习恢复西班牙语客户支持记录的标点符号
本文提出了一种自动标点恢复系统，采用两种基于迁移学习的策略来解决西班牙文转录数据的稀疏性，同时使用英语转录数据来提高标点恢复系统的准确性，适用于实时客户支持转录服务。
- ACL三角形转移：为三角形机器翻译锁定旋转点
本文提出了一种基于迁移学习的三角形机器翻译方法，利用辅助数据训练源 - 中转、中转 - 目标翻译模型，初始化中转侧的一些参数以鼓励两个翻译模型在同一中转语言空间中工作，实验结果表明我们的方法优于先前方法。
- CVPR再次探讨视觉知觉模型的弱监督预训练
本文介绍一项新的弱监督学习方法 —— 通过标签来监督预训练模型， 该方法使用现代残差网络和最大的图像数据集训练模型， 实现各种迁移学习的应用，甚至包括零样本学习，且与大规模自监督学习相比具有更好的性能。此方法有助于发展可靠的视觉识别系统。
- ICML利用中间表示进行更好的迁移学习：Head2Toe
本文介绍了一种名为 Head-to-Toe probing（Head2Toe）的新型迁移学习方法，在 VTAB-1k 数据集上通过选择源模型所有层的特征进行目标领域的分类，能够在保证模型性能的情况下将训练和存储成本大幅度降低，并且对于分布外 - ICML可微分的架构剪枝用于迁移学习
本文提出一种新的基于梯度的方法，用于从现有的大模型中提取子结构，通过定义一种新的基于梯度的算法，将架构训练与权重互相独立，重新定义了架构搜索任务，并通过使用两个温度松弛方案来解决它，从现有的大型神经模型中定义一个搜索空间，成功地重新训练，解 - CVPRDAMSL: 基于元得分的领域不可知元学习
本文提出了一种与领域无关的元得分学习方法，使用图神经网络处理支持集得分分布，归纳出嵌入和关系函数，实现更高效斩获交叉领域少样本学习的显著性能提升。
- 在一个统一的少样本分类基准上比较迁移学习和元学习方法
本研究对元学习和迁移学习两种方法在小样本学习领域的应用进行了交叉研究，以 Meta-Dataset 和 Visual Task Adaptation Benchmark 两个基准测试集进行了测试，发现大规模的迁移学习方法表现最佳。
- CVPR元调整的跨域少样本学习
通过引入迁移学习和元学习以及改进的训练过程包括一阶 MAML 算法和图神经网络模型，本文提出的方法在加上数据增强后，在新的跨领域少样本学习基准上实现了 73.78% 的平均准确度，比既有基准提高了 6.51%。
- Talking-Heads Attention
本研究介绍了 “talking-heads attention”—— 多头注意力机制的一种变体，通过在 softmax 操作之前和之后在注意力头维度上进行线性投影，只需添加少量参数和计算即可在掩码语言建模任务中提高 困惑度，在迁移学习到语言 - 基于深度学习的数据驱动超参数化：多尺度 Lorenz 96 系统和迁移学习实验
本文提出了一种新的子网格数据驱动超参数化 (DD-SP) 方法，该方法利用机器学习方法（如循环神经网络）以数据驱动的方式集成小尺度过程的方程式，与传统的参数化方法相比，DD-SP 在预测准确性和计算成本方面具有显著优势，并且研究了传递学习在 - CVPRTransMatch: 半监督少样本学习的迁移学习方案
本文提出了一种新的半监督少样本学习的转移学习框架，用于充分利用标记基础分类数据和未标记新类数据的辅助信息，并基于该框架开发了一种称为 TransMatch 的新方法，通过 Imprinting 和 MixMatch 实例化三个组件，实验结果 - 使用条件神经自适应过程进行快速灵活的多任务分类
本文提出了一种基于条件神经过程的多任务分类方法，该方法可以在初步的多任务训练阶段后自适应地适应测试时遇到的新任务，并与元学习和少样本学习文献建立联系。实验结果表明，该方法在具有挑战性的 Meta-Dataset 基准测试中取得了最先进的效果 - 多任务软选项学习
介绍了 Multitask Soft Option Learning (MSOL) 的一个层次化多任务框架，基于 Planning as Inference。使用单独的变分后验为每个任务提供正则化，并通过共享先验正则化实现。MSOL 通过避 - ACL细粒度时间关系提取
本研究提出了一种新的语义框架来建模时间关系和事件持续时间，构建了迄今为止最大的时间关系数据集，并利用该数据集训练了预测细粒度时间关系和事件持续时间的模型，表现出强大的实验结果，并展示了预测分类关系的迁移学习方法的功效。
- AAAI一种用于定制模型训练的元学习方法
本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。