Huanru Henry Mao, Bodhisattwa Prasad Majumder, Julian McAuley, Garrison W. Cottrell
TL;DR利用多任务学习和辅助训练信号，在创作故事时增强常识推理能力。
Abstract
Stories generated with neural language models have shown promise in
grammatical and stylistic consistency. However, the generated stories are still
lacking in common sense reasoning, e.g., they often contain sent
本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。