BriefGPT.xyz
Ask
alpha
关键词
whole word masking
搜索结果 - 3
SemEval-2022 11 任务:语义模糊环境中低资源语言的复杂命名实体识别
使用预训练的语言模型和整词遮罩技术,结合 CRF、BiLSTMs、线性分类器等多种神经网络架构, 在中文和西班牙语两种低资源语言的命名实体识别任务上超越基准,并在任务中表现最佳模型占据竞争性位置。
PDF
2 years ago
ACL
汉语 BERT 中是否总是整词遮蔽更好?:对汉语语法错误纠正的探究
本文探讨了使用整词遮掩技术对于中文 BERT 模型的上下文理解能力是否具有优势,为此作者引入两项与语法纠错有关的探测任务,并针对 19,075 个标记在 10,448 个句子中进行测试,发现在处理多字符情况下,整词遮掩技术可以获得更好的性能
→
PDF
2 years ago
使用整词掩码的中文 BERT 预训练
本文旨在介绍中文 BERT 预训练语言模型的整词 Masking 策略以及一系列简单但有效的中文预训练语言模型,其中包括 MacBERT,提高了 RoBERTa 的性能,并通过十个中文 NLP 任务的广泛实验证明了 MacBERT 在很多
→
PDF
5 years ago
Prev
Next