EMNLPNov, 2023
知识注入框架再探
Revisiting the Knowledge Injection Frameworks
Peng Fu, Yiming Zhang, Haobo Wang, Weikang Qiu, Junbo Zhao
TL;DR大型语言模型 (LLMs) 在全球范围内取得了重大影响,然而如何利用外部知识使这些模型更好地适应垂直领域特定任务的问题仍未完全解决。本文针对此问题进行了深入研究,提出了一种基于剪枝和净化外部知识库的方法,该方法能够克服注入知识时的常识问题,并进一步推动领域自适应语言模型的性能界限。