Feb, 2022
我的知识增强语言模型有哪些变化?
What Has Been Enhanced in my Knowledge-Enhanced Language Model?
Yifan Hou, Guoji Fu, Mrinmaya Sachan
TL;DR该论文提出了一种叫做 “Graph Convolution Simulator”(GCS)的探针模型,用于解释知识增强语言模型(Knowledge-enhanced LMs)中知识整合的方式,并发现只有少量的事实知识被整合进 ERNIE 和 K-Adapter 中。