pretraining task | BriefGPT

关键词pretraining task

搜索结果 - 9

ACL多模态查询的端到端知识检索
本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。
PDFa year ago
CVPR使用自由语言建模加速视觉语言预训练
本研究提出了一种新的预训练任务：自由语言建模 (FLM)，它通过自定义每个预测令牌的污染范围解决了掩码语言建模 (MLM) 中预测率和污染率之间的问题，成功地将预测率从污染率的捆绑中解放出来，从而加速了视觉 - 语言预训练的收敛速度，减少了
PDFa year ago
MuLTI: 多路径采样与多项选择模型实现高效视频和语言理解
本文提出了一种高精度、内存高效的视频和语言理解模型 MuLTI，通过特征采样和注意力模块实现了高效而有效的特征融合，引入了基于注意力的适配器来微调编码器的浅层特征以提高模型性能，最后引入了一种新的预训练任务 Multiple Choice
PDFa year ago
处理长篇文档的全局记忆转换器
本研究主要探讨了在 Transformer 模型中添加通用记忆单元对其性能的影响，通过使用遮掩语言建模和 HotpotQA 微调任务的实验数据表明，添加通用记忆单元可以提高模型性能。
PDF2 years ago
ICML基于混合对比学习的星系基础模型构建
本文利用 BYOL 框架进行星系图像数据标签预处理任务，在使用 GZ-Evo v0.1 中，暴露相应的特征，通过深层学习和对比学习进行星系图像分类预测，在低标签迁移领域，我们的预处理 / 对比方法最大限度地提高了下游的精度 (+6%)。
PDF2 years ago
SuMe: 面向生物医学机制概述的数据集
本文介绍了生物医学机制总结任务，并利用少量手工标注的机制句子，训练了机制句子分类器以过滤大量的生物医学摘要并创建了一个包含 22k 实例的总结数据集。此外，我们还引入了 611k 实例的结论句子生成作为预训练任务，并基准测试了大型生物领域语
PDF2 years ago
EMNLP伪零代词消解改善零指代消解
本研究提出两个新的建议，分别是在 MLMs 上使用含有显式监督的方法进行项链关系的预训练任务以及新的微调方法，实验证明这两个建议可以提升零指称解析的性能，同时揭示了其余挑战的新见解。
PDF3 years ago
EMNLPLUKE: 深度上下文化实体表示与实体感知自注意力
本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。
PDF4 years ago
利用生成语言模型进行零样本文本分类
本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本
PDF5 years ago