CAT 是一种语境化的概念归纳和实例化的半监督学习框架,可大规模概念化常识知识库,并通过实验证明,其获得的抽象常识知识可以显著提高常识推理建模的准确性。
May, 2023
本论文研究如何更好地表示常识知识,提出了一种概率逻辑表示方案和一种层次化概念本体论,能够更灵活地表示信念,并在神经符号应用中使用。通过专家注释和群众众包,将这个框架扩展到 PrimeNet 知识库,并展示其在更易解释的语义解析和问题回答中的应用。
Nov, 2022
本研究综述了 150 + 篇论文,对概念化的定义、执行、应用以及相关的资源方法和下游应用进行了综合分类,特别关注实体和事件层面,在此基础上,我们揭示了该领域的未来发展方向,并希望得到社区更多的关注。
Jun, 2024
CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识,在不需要人类对图像实例进行注释的情况下,通过远程监督的多实例学习问题,从图像中提取 commonsense 知识的方法。实验结果表明,CLEVER 可以提取有质量的 commonsense 知识。
本文提出一个新的评估框架,以测试知识图谱的效用,该框架基于从中可以从中学习隐式知识表征的效果。基于这个新目标,我们提出了一个新的通用常识知识图谱 ATOMIC 2020,其中包含预训练语言模型中不易获得的知识,并用其他主要的常识知识资源进行比较。通过人类评估,我们显示出基于 ATOMIC 2020 训练的知识模型的少数情况下的表现比 GPT-3(175 亿个参数)使用 430 倍少的参数。
Oct, 2020
通过对常识知识源进行调查,本文提出了构建通识知识图谱的原则、表示模型,将七个独立的常识知识源整合到了第一版集成的通识知识图谱中,并分析了它在四个问答数据集上的应用统计结果和所得到的经验教训。
Jun, 2020
通过利用 ConceptNet 中的结构化知识,构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练,我们提出了一种简单而有效的方法来教授预训练模型常识性推理,实验结果表明,这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升,特别是在少样本学习设置下。
Sep, 2019
我们提出了一个新的概念化框架,迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案,使用这个框架作为分析工具,我们发现现有的大型语言模型在概念推理方面存在不足,并通过引入可信的归纳信号来改善模型的概念推理性能,实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%,实现了一个更强大的推理系统,更少地依赖归纳偏见。
Mar, 2024
该研究提出了两种方法,通过外部常识知识图谱,隐式或显式地融入到预先训练好的自然语言处理模型中,以提高社交智能,这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。
May, 2021
我们提出了 COMET,一种生成通用语言的丰富多样的常识知识描述的模型,并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。
Jun, 2019