Apr, 2023

CKBP v2: 通识知识库填充的专家注释评估集

PDF
TL;DR本文介绍了 CKBP v2，这是一个新的高质量的常识知识库（CSKB）人口基准，使用专家注释代替众包注释，并添加多样化的对抗样本以使评估集更具代表性，通过与最先进的方法进行比较，本文表示人口普查任务仍然具有挑战性。
commonsense knowledge basescskb population benchmarkexpert annotationsadversarial samplesstate-of-the-art methods
发现论文，激发创造
  • 使用有效的评估数据集对常识知识库填充进行基准测试

    本论文提出了一个新的大规模的数据集来评估神经模型在通识推理任务中的表现，并提出了一种基于图形的归纳式通识推理模型。实验结果表明，推广通识推理任务是一项困难的任务，训练时表现出高准确性的模型在评估集上表现不佳，与人类表现之间存在巨大的差距。

    Sep, 2021

  • PseudoReasoner：利用伪标注词汇拓展常识知识库的实体关系

    本研究提出了一种基于半监督学习的框架 PseudoReasoner，用于 CommonSense Knowledge Base（CSKB）自动补全，在测试集合的 out-of-domain 性能上取得最新的最好表现。

    Oct, 2022

  • 大规模 Web 内容的常识知识精炼

    ASCENT++ 是一个自动构建常识知识库的方法，可以捕捉到复合概念并通过 OpenIE、Typicality 和 Saliency 评分进行清洗和排序，以表达常识的时间和空间有效性，并且使用广泛的网页内容提高覆盖率，评估结果表明其在常识推理和问题回答中的优势。

    Nov, 2021

  • 通感知识获取的高级语义学

    本文介绍了一种称为 Ascent 的方法，用于自动构建具有先进表达能力、高精度和高召回率的常识知识库，并且超越了之前的三元组限制，同时捕获了具有子组和方面的复合概念，并通过语义方面完善了断言。

    Nov, 2020

  • 关于符号和神经常识知识图谱的 COMET-ATOMIC 2020

    本文提出一个新的评估框架，以测试知识图谱的效用，该框架基于从中可以从中学习隐式知识表征的效果。基于这个新目标，我们提出了一个新的通用常识知识图谱 ATOMIC 2020，其中包含预训练语言模型中不易获得的知识，并用其他主要的常识知识资源进行比较。通过人类评估，我们显示出基于 ATOMIC 2020 训练的知识模型的少数情况下的表现比 GPT-3（175 亿个参数）使用 430 倍少的参数。

    Oct, 2020

  • 电子商务领域常识知识显著性评估的基准数据集

    本文介绍了一项新的监督常识知识显著性评估任务，并发布了一个新的基准数据集。研究表明，常识知识显著性评估是一项具有挑战性的任务，我们提出了一种简单但有效的方法 - PMI-tuning，为解决这个新问题提供了希望。

    May, 2022

  • ZeroKBC: 一项全面的零样本知识库补全基准测试

    研究知识图谱不完整问题，并提出全面的基准测试 ZeroKBC，从多维度角度探究零样本知识库完善领域的挑战和未来发展方向。

    Dec, 2022

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • EnCBP: 英语中更细粒度的文化背景预测的新基准数据集

    本文介绍了如何通过 EnCBP 数据集中的语言建模评估和人工分析，证实英语五个说话国家和美国四个州之间存在明显的语言差异。在 CoNLL-2003、PAWS-Wiki、QNLI、STS-B、RTE、SST-5、SST-2、情感和 Go-Emotions 等任务上的评测表明，引入文化背景信息明显提高了深度学习模型在大多数任务上的性能。

    Mar, 2022

  • 常识知识的整合

    通过对常识知识源进行调查，本文提出了构建通识知识图谱的原则、表示模型，将七个独立的常识知识源整合到了第一版集成的通识知识图谱中，并分析了它在四个问答数据集上的应用统计结果和所得到的经验教训。

    Jun, 2020