pretraining language models | BriefGPT

关键词pretraining language models

搜索结果 - 6

代码预训练提升语言模型的实体跟踪能力
最近的研究提供了间接证据，表明在代码上预训练语言模型可以提高模型在自然语言中跟踪语篇实体状态变化的能力。本研究通过比较基模型和在其基础上用额外代码数据进行训练的模型在实体跟踪性能上的差异，系统地测试了这一论点。此外，我们还扩展了分析，考察了
PDFa month ago
编码增强的序列到序列预训练模型用于语言理解与生成
本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。
PDF2 years ago
ACL他眨眼还是点头？用于评估语言模型词语理解能力的挑战性基准测试
通过填空式洞察问题查询语言模型，以评估其获取的语言知识类型。现有的洞察数据集主要关注单词与实体之间的关系。本文提出 WDLMPro 直接使用单词的字典定义来评估单词的理解，并发现三种受欢迎的预训练语言模型难以匹配单词及其定义，这表明它们对许
PDF3 years ago
ICLR命名实体识别中未标注实体问题的实证分析
通过使用负采样，避免 NER 模型的训练受到未标注实体的干扰，提出了一种能够有效应对未标注实体问题的方法。在实验中，该方法表现出很强的鲁棒性，甚至能够超越现有的基线模型。
PDF4 years ago
ACL多语言语言模型处理新语言的挑战：从 mBERT 不可见开始
通过比较多语言和单语言模型，本文表明了在大量的原始数据上使用基于预训练语言模型的迁移学习在处理未见过的语言中存在多种行为，其中一些语言能够从迁移学习中受益，而另一些则似乎不行，我们还发现这种无法传递的失败很大程度上与用于书写这些语言的字符的
PDF4 years ago
EMNLP语言模型作为知识库吗？
通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。
PDF5 years ago