Sep, 2021

神经语言模型的域自适应权衡

TL;DR探讨了语言模型适应与机器学习理论的关系,研究了大型领域外训练集和小型领域内训练集之间的训练方法的优劣,提出了领域外预训练加上领域内微调比单独应用更为通用,并提出了基于数据选择的适应技术的公共框架。