unsupervised pretraining | BriefGPT

关键词unsupervised pretraining

搜索结果 - 28

低数据条件下的自监督视觉学习：一项比较评估
在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了
PDF2 months ago
通过无监督预训练和上下文学习实现高效的运算符学习
通过机器学习方法和物理领域专业见解相结合，解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而，这些方法仍然需要大量的偏微分方程数据。为了提高数据效率，我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习，通过重构为代理任务
PDF4 months ago
UT5：使用展开去噪预训练非自回归性 T5 模型
通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。
PDF8 months ago
ICLR少量数据目标检测的对比预训练建议
使用预训练的深度神经网络在少量可用数据中实现强大结果，针对密集问题如物体检测，学习图像中的局部信息而非全局信息被证明更有效。为了解决这个问题，我们对最近在社区中表现良好且具有生成多样化目标提案特性的基于 Transformer 的物体检测器
PDF8 months ago
ICML预训练深度模型在标签稀缺的学习排序中胜过 GBDT
该论文研究了无监督预训练是否能提高在标注数据远远少于非标注数据情况下的 LTR 问题中的性能，并通过使用特定于排序的改进方法，在无监督预训练的深度学习模型中表现出比 GBDT 和其他非预训练模型更好的性能，并且在排名异常数据方面也通常具有显
PDFa year ago
SimDETR: DETR 的简化自监督预训练
使用 DETR 为基础的目标检测器，通过无监督预训练和利用大量未标记数据来提高检测器的性能，采用更丰富、基于语义的初始提议、基于聚类的物体伪标签的判别性训练以及自我训练等三个关键因素，显著提升了 DETR 在完整和低数据情况下的性能，并且证
PDFa year ago
病理与基因组学多模态变压器用于生存情况预测
提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大
PDFa year ago
ICML面向未来条件的无监督预训练：决策 Transformer
本文提出了一种基于未来信息进行无监督强化学习预训练的概念简单的方法 ——Pretrained Decision Transformer（PDT），并探究了如何在处理次优数据时提升其性能。实验证明，PDT 在离线数据中提取多样化的行为，且可通
PDFa year ago
LIMA: 对齐更少即更好
通过 LIMA 的实验，本研究发现几乎所有大型语言模型的知识都是在预训练阶段中学习的，只需要有限的指导训练数据就足以教导模型产生高质量的输出。
PDFa year ago
基于半监督学习的人脸反欺诈通用方法
本文提出了一种利用无监督预训练改进性能的方法，介绍了 Entry Antispoofing 数据集来进行监督微调，并提出了一种多类别辅助分类层，以增强检测欺骗企图的二进制分类任务，实现了在多个数据集上的最新结果。
PDF2 years ago
探究口罩重建预训练为何对下游任务有所帮助
该论文研究了在无监督预训练中，通过使用自编码器结合随机遮盖的方法，可以更好地提取语义特征，从而应用于监督微调，实现更好的性能表现。
PDF2 years ago
ACL无监督学习检索文章段落
本文介绍了一种基于无监督预训练的 ODQA 方法，通过 recurrent span retrieval 从文档中创建伪例子进行对比学习，控制 pseudo 查询和相关段落之间的术语重叠，从而允许模拟它们之间的词汇和语义关系，得到命名为 “
PDF3 years ago
CVPR监督预训练的可迁移性再探究：基于多层感知器的视角
这篇论文研究了预训练模型下的无监督预训练与监督预训练的可迁移性差异，并提出了利用多层感知器解决可迁移性问题的方法，实验证明，在监督预训练模型中加入多层感知器可使模型的可迁移性显著提高，使得监督学习下的预训练能够与无监督学习相媲美或者更优秀。
PDF3 years ago
ICMLAPS：基于后继特征的主动预训练
本文提出了一种新的强化学习的无监督预训练目标，利用非参数熵最大化和变分继承者特征相结合，提出了 APS 方法，比现有方法表现更好。APS 通过非参数熵最大化探索环境数据，通过变分继承者特征学习行为。在 Atari 100k 数据效率基准测试
PDF3 years ago
ICCV提升少标签迁移的无监督预训练
本文研究了无监督预训练在少标签数据迁移中的表现，发现在少标签数据迁移中，聚类质量对迁移表现有很重要的影响；此外，我们提出仅将部分无标签目标领域纳入无监督预训练中即可提高聚类质量，减少与有监督预训练之间的迁移性能差距，并提出新的渐进式少标签迁
PDF3 years ago
SPeCiaL：自监督预训练用于持续学习
本文提出了一种用于无监督预训练的方法 SPeCiaL，旨在为连续学习定制表示。我们的方法通过序列学习过程差异化地制定了元学习目标，从而产生偏向于快速知识保留且遗忘最小化的表示。在连续小样本学习中，我们评估了 SPeCiaL 的性能，并展示它
PDF3 years ago
BERT 对医疗编码分配的应用研究
本研究旨在探讨无监督预训练模型在医学代码预测任务中的性能，并提出一种用于捕捉远距离词汇间交互作用的分层微调架构和标签注意力机制，并发现精心训练的经典 CNN 模型可以超越基于注意力机制的模型。
PDF3 years ago
ACL使用弹性权重一致性进行神经机器翻译的无监督预训练
本文研究了神经机器翻译中的无监督预训练方法，使用 Elastic Weight Consolidation 对双向编码器和解码器进行初始化，通过 fine-tune 来避免原始语言建模任务的遗忘，并将其与以前的正则化工作进行比较，结果表明使
PDF4 years ago
大型自监督模型是强半监督学习器
本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73
PDF4 years ago
ICLR实例区分对迁移学习有何好处？
本文研究了基于实例鉴别预训练的对比视觉预训练，探究了实例鉴别预训练对于转移学习的重要性，并发现了低级和中级表示对于转移学习的实际意义。同时，本文证明了传统的监督模型通过增加任务不对齐性而削弱了其可传输性，并提出了一种基于实例的无约束监督预训
PDF4 years ago