关键词supervised pretraining
搜索结果 - 6
- 树正则化的表格嵌入
通过树正则化表征，我们提出了一种在表格数据中实现树状神经网络的方法，该方法不仅在与树状模型的性能差异方面收敛，而且在与先进神经网络模型的性能相比较时表现出色，具有更好的鲁棒性，并且可以作为独立编码器轻松扩展和普适于表格数据模态。
- ACL零样本问答的任务迁移和领域自适应
使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。
- CVPR监督预训练的可迁移性再探究：基于多层感知器的视角
这篇论文研究了预训练模型下的无监督预训练与监督预训练的可迁移性差异，并提出了利用多层感知器解决可迁移性问题的方法，实验证明，在监督预训练模型中加入多层感知器可使模型的可迁移性显著提高，使得监督学习下的预训练能够与无监督学习相媲美或者更优秀。
- ICCVTSP: 为定位任务进行的视频编码器时间敏感预训练
该研究提出了一种新的监督预训练范例，通过考虑背景剪辑和全局视频信息，不仅需要训练活动分类，而且还需要训练时序灵敏度，从而显着提高了最近最先进的方法在三个任务中的性能：时间动作本地化，行动建议生成和密集视频字幕。
- CVPRVirTex：从文本注释中学习视觉表示
使用 COCO Captions 监督预训练的 VirTex 方法可以在使用更少的图像的情况下，产生与 ImageNet 监督或非监督学习得到的特征所匹配或超越的视觉表征。
- 探索弱监督预训练的极限
本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。