multi-task pretraining | BriefGPT

关键词multi-task pretraining

搜索结果 - 4

MTP: 通过多任务预训练推进遥感基础模型
本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过 14 个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越
PDF4 months ago
ICMLLasso 改进的主动多任务表示学习
传统的多任务学习方法存在训练样本稀缺问题，该研究首次提出了基于主动学习的多任务表示学习算法，通过 LASSO 程序来估计适用于未知情况下的 L1 - 正则化相关性方法，取得了良好的实验效果。
PDFa year ago
利用多任务预训练技术，提升基础自然语言解释能力
通过应用大规模多任务生成 Transformer 模型的最新进展，我们提出了一种新的 VL-NLE 方法，其提供人类更容易理解的解释，并优于当前技术水平。同时，我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的
PDF2 years ago
微调与元强化学习的有效性比较
本文研究使用 meta - 强化学习方法来完成多个视觉基准测试，在评估这些方法时，我们发现在不同的任务上，多任务预训练加微调的性能相当甚至更好，这与使用 meta-pretraining 和 meta test-time adaptatio
PDF2 years ago