inductive transfer learning | BriefGPT

关键词inductive transfer learning

搜索结果 - 8

多任务深度学习模型与应用的设计观点
通过共享相关任务的特征和归纳迁移学习，我们试图增强多任务模型的特征映射，并学习各种任务之间的任务关系，以获取更好的多任务学习效益。本章旨在可视化现有的多任务模型，比较它们的性能、评估多任务模型性能的方法，并讨论在各个领域设计和实现这些模型时
PDF2 years ago
PAC-Net: 归纳迁移学习的模型剪枝方法
本文提出一种基于模型剪枝的迁移学习的简单且有效的方法 PAC-Net，包括三个步骤：修剪、分配和校准。该方法在各种各样和广泛的归纳迁移学习实验中取得了遥遥领先的表现。
PDF2 years ago
BARThez: 一种熟练的预先训练的法语序列到序列模型
本研究介绍了 BARThez，这是首个大规模的针对法语进行预训练的 seq2seq 模型，它在五个歧视性任务和两个生成性任务上表现非常有竞争力，并且在法语模型中超越了 CamemBERT 和 FlauBERT 等目前的最先进模型。我们还展示
PDF4 years ago
来自序列行为的参数高效迁移，用于用户建模和推荐
本文提出了一种参数高效的迁移学习框架 PeterRec，通过注入一系列重新学习的小型神经网络，PeterRec 可以在多个领域实现高效的迁移学习，从而有效地学习单个用户表示，并在多个领域的任务中取得了可比或更好的性能。
PDF4 years ago
基于图的多任务学习：一种分布式、流式机器学习方法
本文是多任务学习的一篇综述，主要介绍了在分布式数据和网络系统上学习多个相关任务的新策略以及合作规则如何促进不同任务相关性模型，同时也解释了如何和何时合作的方式比非合作的策略更有效。
PDF4 years ago
适应性深度嵌入：k- Shot 归纳迁移学习方法的综合
探讨了机器学习中的归纳迁移学习，比较了基于权重转移、深度度量学习和少样本学习三种方法的最新研究，提出了一种基于少量目标域数据微调基于源域数据的嵌入的混合适应嵌入方法，证明了它们在各种域和不同数量和类别的标记数据中的有效性。
PDF6 years ago
ICML卷积网络迁移学习的显式归纳偏置
本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法
PDF6 years ago
ACL通用语言模型微调用于文本分类
本文提出了通用语言模型微调（ULMFiT）方法，通过预训练模型来减小 NLP 中针对特定任务和重新训练的限制，可应用于 NLP 中的任何任务，结果显示该方法在 6 个文本分类任务中的表现显著优于现有技术，且只需 100 个标记实例即可达到基
PDF6 years ago