supervised pre-training | BriefGPT

关键词supervised pre-training

搜索结果 - 7

监督与非监督：理解和解决 3D 迁移学习的关键挑战
在本研究中，我们对监督学习和对比学习预训练策略及其在下游 3D 任务中的实用性进行了深入的定量和定性调查，通过分层分析学到的特征提供了对训练网络在下游任务中的可用性的重要见解，基于这一分析，我们提出了一种简单的几何正则化策略，来提高监督学习
PDF3 months ago
变动动作空间下的环境感知强化学习
基于强化学习算法的学习历史的监督预训练，通过与环境的交互，能够捕捉学习过程并在上下文中改善对新任务的处理。然而，现有文献在上下文泛化到新行为空间方面仍存在差距。本研究旨在开发一种专门用于泛化到新行为空间的架构和训练方法，通过预测行为嵌入来消
PDF6 months ago
KEEP：一种在线推荐的工业级预训练框架，通过知识抽取和插入实现
本文提出了一种工业推荐系统中通过从超域中提取知识来改善数据稀疏问题的方法，并设计了一个基于监督预训练的知识提取模块和插入网络的 KEEP 框架以适应增量训练的在线推荐。实验证明，该方法取得了良好的效果，并且在阿里巴巴的展示广告系统中部署后带
PDF2 years ago
自然语言生成的多任务监督预训练 (MVP)
提出一种基于 supervised pre-training 的自然语言生成模型 MVP，通过大规模语料库 MVPCorpus 在文本 - 文本格式下进行训练，并针对每种任务预训练特定的 soft prompts。实验证明 MVP 在多个自
PDF2 years ago
ACL对预训练语言模型进行微调以进行少样本意图检测：监督式预训练和各项同性化
本文研究了如何在任务导向的对话系统中仅通过少量标注进行有效的意图分类器训练，提出了使用各向同性正则化改进有监督预训练的方法，并通过大量实验验证了其有效性。
PDF2 years ago
重新思考有监督的预训练，以实现更好的下游转移
该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移
PDF3 years ago
CVPR准确物体检测与语义分割的丰富特征层次结构
提出一种基于卷积神经网络的 Region Proposal 方法 R-CNN，它与 CNN 结合起来使用更高的上下文信息，加上有监督的预培训方法，实现了在 PASCAL VOC 2012 数据集上的平均准确率 mAP 达到 53.3%。
PDF11 years ago