transformer-based neural language models | BriefGPT

关键词transformer-based neural language models

搜索结果 - 5

主题感知探测：从句子长度预测到成语识别，神经语言模型对主题的依赖程度如何？
Transformer-based 神经语言模型在自然语言处理任务中取得了最先进的性能，但一个开放问题是这些模型在处理自然语言时在词序 / 句法、词共现 / 主题相关信息中所依赖的程度。本文通过研究基于 Transformer 模型（BER
PDF4 months ago
EMNLP增加遮挡时，词序很重要
本研究探讨了在 Transformer-based 神经语言模型中移除位置编码的影响，发现掩码语言建模任务中位置信息的重要性随着掩码数量的增加而增加，并且没有位置编码的模型不能完成该任务，这揭示了 Transformers 通过位置编码捕捉
PDF2 years ago
ACLBERT 是否真的赞同？对语法任务上词汇依赖的精细分析
该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。
PDF2 years ago
ACL利用语法感知的局部注意力提升 BERT 性能
本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。
PDF4 years ago
COLING细节藏恶魔：评估基于 Transformer 的方法在细粒度任务中的局限性
该文探讨了基于 transformer 的神经语言模型生成的上下文嵌入在文本相似度问题上的表现，针对不同粒度上的文本匹配任务，发现相较于简单的基准算法 TF-IDF，该模型在细颗粒度上的匹配任务表现欠佳，提出了一种简单而有效的方法，即将 T
PDF4 years ago