pretraining datasets | BriefGPT

关键词pretraining datasets

搜索结果 - 5

奥卡姆剃刀原则在自监督学习中的应用：什么是足够的学习良好的特征表示？
深度学习常被描述为数据 - 架构 - 损失的三位一体。然而，最近的自监督学习 (SSL) 解决方案引入了许多其他设计选择，如投影网络、正向视图或师生网络。本研究的发现是，对于多达几十万个样本的预训练数据集，SSL 引入的额外设计对所学表示的
PDF19 days ago
数据激发您的快乐吗？培训结束时的领域上采样带来的性能提升
通过对小型领域专用数据集进行上采样，以驱动性能在困难基准测试上的改进，本研究揭示了在多样性的一般网络抓取和领域专用数据信息密度之间寻求平衡的最佳方法。
PDFa month ago
ICLR没有指数数据就没有 “零样本”：预训练概念频率决定多模态模型性能
多模态模型的 “零样本” 泛化能力在大规模训练范式下面临指数级的数据需求，其性能受预训练数据集中概念频率的影响，并对长尾数据表现较差。
PDF3 months ago
MIMIC：带有图像对应关系的遮蔽图像建模
提出了一种无需注释，挖掘多视的图像对来训练自监督模型，来提高预训练数据集的效果；在深度估计、语义分割等任务上，相比于基于注释的预训练和冻结表示，使用提出的 MIMIC 数据集训练的表示性能更好。
PDFa year ago
使用干扰项和提示掩盖为医疗问答生成多选题
本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法，提高了医学多项选择题回答准确率；本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法，并
PDFa year ago