pretrained masked language models | BriefGPT

关键词pretrained masked language models

搜索结果 - 4

EMNLP预训练遮蔽语言模型中社会偏见和任务表现的预测因素分析
为了研究预训练遮蔽语言模型 (Masked Language Models) 的模型因素与所学习的社会偏见之间的关系，以及模型的下游任务性能，我们对 39 个不同模型大小、训练目标、分词方法、训练数据领域和语言进行了全面的研究。结果揭示了一
PDF8 months ago
ACL多视角时间概念漂移下掩码语言模型的动态基准测试
该研究在 Wikidata 数据集上，评估了 11 个预训练的蒙面语言模型对时间概念漂移的影响，以确保其能够适应不断更新的现实世界的事实更新，并提供了一个综合框架来构建不同时间粒度的事实数据集，并通过多个评估角度来评估模型是否过时。
PDFa year ago
EMNLP快速、高效且自监督：将掩码语言模型转化为通用词汇和句子编码器
本论文提出了一种名为 Mirror-BERT 的极为简单、快速和有效的对比学习技术，它能在 20-30 秒内将预训练的 MLMs（如 BERT 和 RoBERTa）转变为有效的通用词汇和句子编码器，而无需任何附加的数据和监督，并取得了巨大的
PDF3 years ago
ACL位置性伪像在掩码语言模型嵌入中传播
本文研究表明，基于预训练掩码语言模型的编码器推导出的上下文化字向量在层间分享一种共同的、可能不太理想的模式，即 BERT 和 RoBERTa 的隐藏状态向量中存在持续的异常值神经元。这些异常值与位置嵌入所捕获的信息密切相关。我们显示，裁剪这
PDF4 years ago