Dec, 2022
I2D2: 用神经逻辑和自我模仿进行归纳式知识蒸馏
I2D2: Inductive Knowledge Distillation with NeuroLogic and Self-Imitation
Chandra Bhagavatula, Jena D. Hwang, Doug Downey, Ronan Le Bras, Ximing Lu...
TL;DR本文研究使用新型的常识提取算法来提升较小的语言模型的常识能力,通过符号知识的传递和自我仿真学习,提出了 I2D2 框架并在生成泛化性句子方面进行实证研究,结果表明规模不是影响模型能力的唯一因素,新的算法是可行的。