Jun, 2022

PInKS: 具有最小监督的预处理常识推理

HTML
PDF
TL;DR本文提出了一种改进的、最小监督的预先条件常识推理模型 PInKS，它通过 PAC-Bayesian 信息分析、精度度量和消融研究等辅助手段，有效地解决了对预先条件推理数据稀缺及模型支持不足的问题，提高了关于常识知识先决条件推理的基准测试结果（高达40%宏F1分数）。
发现论文，激发创造
  • ATOMIC: 机器常识图谱用于 If-Then 推理

    ATOMIC是一种以常识推理为组织形式的图表，其中包括了877k个基于变量的if-then关系类型，使用这种类型，神经模型可以获得简单的常识能力并进行推理，证实了将多任务模型引入到if-then关系结构中可以得到比独立训练的模型更准确的推论。

    Oct, 2018

  • 自然语言推理的最新进展: 基准、资源和方法调查

    本文概述了最近的基准测试、相关知识资源和最先进的学习和推理方法，以支持更好地理解自然语言理解领域。

    Apr, 2019

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用ConceptNet中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 预训练几乎就是你所需要的：应用于常识推理

    本研究提出一种基于预训练transformer模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。

    Apr, 2020

  • 知识增强语言模型用于因果关系分类

    本文研究如何将常识知识加入预训练的语言模型中，并发现这种方式可以提高模型在因果关系分类和常识因果推理任务中的表现。

    Dec, 2021

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 评估零样本通识推理的置信度而非困惑度

    本文提出一种新的通识推理度量标准——Non-Replacement Confidence(NRC)，通过Replaced Token Detection(RTD)预训练目标在PLMs上进行推理，提高了两个通识推理基准数据集和七个通识问题回答数据集的零-shot表现。

    Aug, 2022

  • 利用弱监督进行预处理的视觉语言推理

    本文提出了预先条件的视觉语言推理与理性化（PVLIR）的任务，研究表明 SOTA 的 VLM 模型无法提取出这种先决条件，提出了三种策略来提取弱监督信号，并开发了经过人工验证的测试集进行评估。

    May, 2023

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 推动Transformer在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过15％的配对准确度和超过8.7％的标准准确度的绝对增益。

    Oct, 2023