推断读者:以常识推理为引导的自动化故事生成
本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题,提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事,并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系,从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。
Jan, 2020
本文利用 Transformer 模型及多种技巧,解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理,使用多个常识知识库进行联合推理,并运用 GAN 框架生成同时可信可控的常识命题。
Feb, 2023
我们提出了一种任务,即基于语篇的通识推理,在保持与叙述其余部分的一致性的同时,在预定义的维度上生成常识推断。使用可用的句级注释,我们有效且自动地构建了一个远程监督语料库,使用该语料库,我们训练了 PARA-COMET,这是一种基于语篇的模型,它捕获关于先前世界知识的语义知识和涉及如何将当前事件与叙述中先前和未来事件相关联的情节知识。我们的结果表明,PARA-COMET 在生成既连贯又新颖的推断方面优于句级基准。
Oct, 2020
介绍了如何利用当前的机器学习方法,通过知识迁移、模型集成和引入配对对比目标等方法,改进通用预训练语言模型在常识推理任务中,取得超过 15%的配对准确度和超过 8.7%的标准准确度的绝对增益。
Oct, 2023
本论文中,我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能,通过从 Conceptnet 中提取常识关系,将这些关系注入到 Unified Language Model (UniLM) 中,并通过输出约束强制实施词汇要求,以提高生成文本的语义正确性和符合人类理解,从而实现了匹配词性和完全概念覆盖的要求。
Dec, 2020
研究自动故事情节生成并引入软因果关系概念,并通过 Causal, Commonsense Plot Ordering 算法来实现故事叙述。通过人类参与者协议评估系统,探究不同类型的常识推理和归纳偏差对于叙述质量的影响。
Sep, 2020
通过将常识推理分解为明确步骤,从而更好地生成、选择和整合常识来提高对话交互的自然性、参与度、特定性和整体质量,从而在常识推理增强的响应生成领域取得了最新技术进展。
Jun, 2024
本文研究了将常识知识有效地集成到对话模型中的影响,并在基于检索的情境下提出了 Tri-LSTM 模型,将消息和常识联合起来选择适当的响应,实验证明知识增强模型比无知识模型在自动评估中表现更好。
Sep, 2017