BriefGPT.xyz
大模型
Ask
alpha
关键词
domain-adaptive language understanding
搜索结果 - 1
EMNLP
VarMAE: 可变分蒸馏自编码器的预训练,用于领域自适应语言理解
本文提出了一种基于 Transformer 的语言模型 ——VarMAE,通过上下文不确定性学习模块,将限定的语料库转化为平滑的潜在分布,从而为特定领域提供多样性和良好形式的上下文表示,实验证明 VarMAE 在科学和金融领域的 NLU 任
→
PDF
2 years ago
Prev
Next