masked language model | BriefGPT

关键词masked language model

搜索结果 - 33

基于掩码语言模型的令人沮丧的基于编辑的语言隐写术
本文提出了一种基于掩码语言模型的语言隐写术，它克服了传统编辑方法的繁琐规则构建，并具有更高的负载能力和更好的安全性能。此方法比生成方法更易于控制安全性和负载能力之间的权衡。
PDF3 years ago
如何用学术预算训练 BERT
本文描述了一种通过软件优化、设计选择和超参数调整，在低端深度学习服务器上预训练掩蔽语言模型的方法，并证明了产生的模型在 GLUE 任务中具有与 BERT-base 相当的竞争力，预训练成本仅为原始费用的一小部分。
PDF3 years ago
EMNLP遮蔽语言建模和分布假设：有序词预训练对小型模型的影响
本文提出了一个新的解释：遮蔽语言模型 (MLM) 成功地解决了下游任务几乎完全归功于其建模更高阶词共现统计量的能力。
PDF3 years ago
ACL针对无监督神经机器翻译，提升预训练语言模型的词汇能力
本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。
PDF3 years ago
联合能量模型训练以获得更好的校准自然语言理解模型
本文探讨在预训练的文本编码器（如 Roberta）的微调期间进行联合能量模型（EBM）训练，以提高模型的准确性，并通过噪声对比估计进行训练，同时引入掩码语言模型（MLM）目标来提高 NCE 训练的效果。
PDF3 years ago
语义解析中的组合泛化：预训练与专用体系结构
在语义分析任务中，掩码语言模型（MLM）预训练可以有效提高效果，相较于其他促进组合泛化的方法和架构，具有更好的性能，并在 CFQ 组合泛化基准测试中建立了新的最新记录。
PDF4 years ago
ACL是否预训练：探究在资源丰富任务中预训练的益处
本文研究预训练自然语言处理模型在下游任务中使用的训练样本数量与性能之间的关系，研究发现，随着训练样本的数量达到百万级别，使用 BERT 预训练模型和从头开始训练的 LSTM 模型之间的准确度差距缩小到不到 1％，暗示随着监督数据规模的增大，
PDF4 years ago
ACL在多语言 BERT 中发现通用语法关系
本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。
PDF4 years ago
ACL编码器 - 解码器模型在语法错误纠正中可以受益于预训练的掩码语言模型
本文研究如何将预训练的蒙面语言模型（例如 BERT）有效地纳入编码 - 解码模型，以进行语法错误纠正，并提出一种新的方法，在给定语法错误纠正语料库中对蒙面语言模型进行微调，并利用微调后的蒙面语言模型的输出作为语法错误纠正模型的额外特征，实现
PDF4 years ago
ACL一种具有概率掩码的语言模型，能够按任意字序进行自回归生成
本文提出了一种基于掩模模型的概率掩模方案（PMLM），它支持按任意顺序生成文本，并在下游自然语言理解任务上超越了 BERT。
PDF4 years ago
ACL掩蔽语言模型评分
通过掩码语言模型的伪对数似然得分，我们证明该方法在各种任务中优于自回归语言模型。RoBERTa 减小端到端 LibriSpeech 模型的 WER，同时增加低资源翻译的 BLEU 得分，这个成功要归功于伪对数似然得分的无监督表达，而不具有从
PDF5 years ago
IJCAI掩码与填空：应用掩码语言模型进行情感转换
该论文提出了一种基于两步 Mask 和 Infill 方法的情感转移模型，用于修改句子情感属性，实验表明对于非平行文本，该模型具有良好的性能。
PDF5 years ago
常识推理的混合神经网络模型
本文提出了一种混合神经网络（HNN）模型，用于常识推理，旨在将语言模型和语义相似度模型的优点相结合。该模型在三个常见常识推理任务上取得最新的最佳结果。
PDF5 years ago