language model pre-training | BriefGPT

关键词language model pre-training

搜索结果 - 12

Rho-1: 不是所有的令牌都是你所需要的
先前的语言模型预训练方法一直对所有训练标记应用相同的下一个标记预测损失。挑战这一规范，我们认为 “语言模型训练并非所有语料库中的标记都同等重要”。我们的初步分析探究了语言模型的标记级训练动态，揭示了不同标记的独特损失模式。利用这些见解，我们
PDF3 months ago
分析序列组成对语言模型预训练的影响
将相关文档连接起来并使用内部文档因果掩模，可以提高语言模型的性能，并通过 BM25Chunk 方法改善语境学习、知识记忆和上下文利用能力。
PDF4 months ago
语言转变下的持续学习研究
对于语言模型的预训练，更新模型而不是完全重新训练，可以在新数据不断增加时提供显著的收益。本文研究了在语言转移的情况下，当新的数据来自新的语言时，更新语言模型的利与弊。通过将挪威语和冰岛语等数据逐步添加到单语英语语言模型中，我们研究了不同模型
PDF8 months ago
针对英语隐私政策的语言理解评估基准 PLUE
通过多种任务的评估，我们介绍了隐私政策语言理解评估（PLUE）基准，并收集了大量的隐私政策，以促进未来该领域的研究；同时，我们证明了领域特定的预训练对所有任务都有性能提升。
PDF2 years ago
ACLTwitter 上的命名实体识别：短期时间漂移的数据集和分析
本研究旨在探索利用预训练模型进行 Twitter 命名实体识别的问题，构建了一个包含七个实体类型的数据集 TweetNER7，并提供了一组语言模型基线。通过分析不同时期对语言模型性能的影响，尤其是短期降级、基于不同时间段进行语言模型微调的策
PDF2 years ago
EMNLP关于双向性在语言模型预训练中的作用
本文探讨了语言模型预训练的双向性作为不同方法的关键因素，并提出了一个新的框架，能够控制双向上下文和双向注意力等两种表现形式。研究表明，最佳配置因应用而异，但大规模双向模型的作用值得探究。
PDF2 years ago
ICLRTAPEX: 通过学习神经 SQL 执行器进行表格预训练
本文提出了 TAPEX，利用合成语料库学习神经 SQL 执行器来解决表格预训练中数据稀缺的挑战，并在四个基准数据集上实现了新的最先进结果。
PDF3 years ago
ACL卷积与自注意力：重新解释预训练语言模型中的相对位置
该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。
PDF3 years ago
DOBF: 面向编程语言的反混淆预训练目标
本文介绍了一种新的预训练方法 DOBF，它利用编程语言的结构特性，对模型进行预训练，以恢复混淆的源代码的原始版本，表明使用 DOBF 预训练的模型在多种下游任务上具有明显的性能优势，例如在无监督代码翻译和自然语言代码搜索方面分别提供了多达
PDF3 years ago
ST-BERT：跨模态语言模型预训练用于端到端口语理解
本文介绍了一种跨模态预训练语言模型 ——Speech-Text BERT（ST-BERT），通过两种预训练任务（Cross-modal Masked Language Modeling and Cross-modal Conditioned
PDF4 years ago
REALM: 检索增强语言模型预训练
本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。
PDF4 years ago
EMNLP可视化理解 BERT 的有效性
本文研究了使用 BERT 等语言模型进行预训练，并 fine-tuning 在不同任务上的应用。通过可视化损失函数和优化轨迹，本研究得出：预训练可以在不同任务上发现较好的初始参数点，这有利于 fine-tuning 得到更宽的稳定最优解，更
PDF5 years ago