开放式常识推理与无限答案范围
论文通过构建一个与问题相关的知识图谱并采用顺序子图推理过程来预测答案,提出了一种新的模型来解决多跳推理的通识推理问题,提高了在 OpenCSR 数据集上的性能。
Mar, 2023
本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法,通过对大量未标记数据的训练,优化单选题的得分,获得了很好的测试成绩,没有使用昂贵的注释知识库或手工特征工程。
Jun, 2018
通过利用 ConceptNet 中的结构化知识,构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练,我们提出了一种简单而有效的方法来教授预训练模型常识性推理,实验结果表明,这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升,特别是在少样本学习设置下。
Sep, 2019
通过研究不寻常、意外和不太可能的情境,我们探索了非常识性推理的能力,发布了一个名为 UNcommonsense 的英语语料库,并比较人类解释者和最佳大型语言模型的表现差异,最终尝试了几种在线模仿学习算法来训练开放和易用的语言模型,在人工评估中,这些方法在常见和非常识性推理上一致降低了错误率。
Nov, 2023
通过将常识推理分解为明确步骤,从而更好地生成、选择和整合常识来提高对话交互的自然性、参与度、特定性和整体质量,从而在常识推理增强的响应生成领域取得了最新技术进展。
Jun, 2024
通过从语言模型中产生知识并将其作为额外输入用于回答问题,我们开发了一种生成知识提示方法,它不需要针对知识集成的任务特定监督,也不需要访问结构化的知识库,并在四个常识推理任务中提高了大规模、最先进模型的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。
Oct, 2021
本文提出了一种统一的基于检索增强的通识推理框架(RACo),包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明,我们提出的 RACo 可以显著优于其他知识增强方法的竞争者,在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。
Oct, 2022
采用检索方法增强先前训练和微调,提出了一种新的框架用于增强常识生成,通过原型句子候选集,进一步使用可训练的句子检索器提高其性能,并在大规模 CommonGen 基准测试上实现了最新的最优结果。
May, 2021