Nov, 2021
语言模型是否有信念？检测、更新和可视化模型信念的方法
Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs
Peter Hase, Mona Diab, Asli Celikyilmaz, Xian Li, Zornitsa Kozareva...
TL;DR探讨语言模型是否对世界有信念，介绍检测语言模型是否拥有信念、强化信念更新的方法，其中重点介绍基于学习优化器或超网络的方法，并提出了评估信念更新方法效果的新度量，提出了一种称为 SLAG 的训练目标，并引入了信念图，提供了一种新形式的接口呈现模型信念的内部依赖关系。实验表明，模型具有有限的信念属性，但更新方法可以修正不正确的模型信念，并大大提高其一致性。学习优化器能在比过去工作更困难的环境中胜过现成的优化器。