pre-training task | BriefGPT

关键词pre-training task

搜索结果 - 6

ACL面向指标的逻辑预训练 (IDOL)：用于逻辑推理
本文提出了一种易于理解但非常有效的进一步预训练任务，IDOL（InDicator-Oriented Logic Pre-training），通过 6 种逻辑指示符和一个逻辑丰富的数据集 LGP（LoGic Pre-training）在逻辑上
PDFa year ago
CodeEditor：使用预训练模型学习编辑源代码
本研究提出了一种专门针对代码编辑的预训练任务，并提出了一个名为 CodeEditor 的有效预训练代码编辑模型。通过该任务的预训练进一步提高了代码编辑模型的性能和泛化能力，并优于 SOTA 基线。
PDF2 years ago
汉语多音字消歧的多音字 BERT
本文提出一种中文多音字 BERT 模型，通过从 354 个原中文多音字生成 741 个新的中文单音字，再将其添加到预训练的中文 BERT 中，使得多音字消岐任务能够转化为中文多音字 BERT 语言模型的预训练任务。实验结果验证了该模型的有效
PDF2 years ago
VIMPAC: 基于掩码预测和对比学习的视频预训练
该研究基于预测任务以及块状掩码策略，提出一种输入处理策略及无数据扩充方法，以达到在 SSV2、Diving48 等视频理解数据集上实现最先进效果的目的，并对模型伸缩性和预训练方法进行了详细分析。
PDF3 years ago
ICLR高效自监督视觉 Transformer 模型用于表示学习
本文研究了发展高效的自监督视觉变换器（EsViT）的两种技术，第一，我们通过全面的实证研究显示具有稀疏自我注意力的多阶段架构可以显着减少建模复杂性，但代价是失去捕捉图像区域之间的细粒度对应关系的能力。第二，我们提出了新的预训练任务区域匹配，
PDF3 years ago
ACL通过自标注的词对齐改进预训练的跨语言语言模型
该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上
PDF3 years ago