pretraining tasks | BriefGPT

关键词pretraining tasks

搜索结果 - 6

MOODv2：面罩图像建模用于超出分布检测
主要研究了有效的离域检测的关键是获取一个稳健的域内表示，与离域样本有所区别；通过对不同的预训练任务和离域得分函数进行全面分析，发现通过重构预训练的特征表示显著增强了性能，并缩小了各个得分函数之间的性能差距。
PDF6 months ago
ACL基于因果动作 - 效应建模的视频领域隐式便利性获取
通过自我监督预训练方法，从视觉领域获取行动效果相关的可供性知识，进而证实在学习可供性特性方面，基于行动模式和效果模式的双重预训练任务比基于图像的视觉 - 语言模型以及纯语言模型更为有效。
PDF7 months ago
ONE-PEACE: 探索通往无限模态的一般表示模型
本文提出了一种可扩展的模型来对多种感知模式进行整合，其中 ONE-PEACE 是一个高度可扩展的模型，通过跨感谢模态对其表示进行无缝整合，并通过多模态融合实现对其进行扩展，无需使用任何视觉或语言预训练模型初始化，并在各种单模态和多模态任务上
PDFa year ago
面向表格和文本混合数值推理的全面解决方案程序化预训练
本文提出了三个预训练任务，具体包括：变量完整性排名（Variable Integrity Ranking）；变量操作符预测（Variable Operator Prediction）；变量关键词屏蔽（Variable Keyphrase M
PDFa year ago
EMNLP利用大量多语种知识三元组增强多语言模型
本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知
PDF3 years ago
ACL超越语言建模的句子级预训练：你能告诉我如何通过芝麻街吗？
本文首次对 19 个候选预训练任务进行了系统研究，比较了它们作为语言建模替代方案和互补方案的不同表现。研究结果支持使用语言建模，尤其是结合预先训练的其他标记数据任务。然而，研究结果混杂，显示出一些令人担忧的趋势，同时也展示出更复杂的多任务和
PDF6 years ago