Jun, 2023
领域特定预训练模型的重要性:相较通用模型而言
Stack Over-Flowing with Results: The Case for Domain-Specific Pre-Training Over One-Size-Fits-All Models
Manisha Mukherjee, Vincent J. Hellendoorn
TL;DR研究表明,对面向单一领域的数据进行预训练,也可以得到性能强大且经济实惠的替代解决方案,本文以 StackOverflow 为例,使用 SOBertBase 和 SOBertLarge 模型在该领域上预训练,并在 SO 特定的四个下游任务上验证了其表现优于基线和大型通用模型。