ICLRJun, 2021
通过 Metropolis-Hastings 揭示掩码语言模型背后的隐式能量网络
Exposing the Implicit Energy Networks behind Masked Language Models via Metropolis--Hastings
Kartik Goyal, Chris Dyer, Taylor Berg-Kirkpatrick
TL;DR本文提出了一种从 MLMs 中推导出能量参数,并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案,用于无限制的生成和有条件的生成任务,证明了所提出参数化的有效性,以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。