Nov, 2022

自然语言解释上的逻辑推理零样本分类

PDF
TL;DR本文提出了一种基于逻辑推理和自然语言解释的零样本分类方法 ——CLORE 框架，通过将解释解析成逻辑结构并沿着该结构进行推理来产生分类得分，实验结果表明 CLORE 在零样本分类方面具有优异的表现，同时能够提供逻辑解析和推理过程作为理性依据，并能够降低语言偏差。
zero-shot classificationlogical reasoningnatural language explanationslinguistic biasesclore framework
发现论文，激发创造
  • 基于逻辑引导的零样本关系分类语义表示学习

    该研究提出了一种基于逻辑引导的语义表示学习模型，通过知识图谱嵌入和逻辑规则，在已知和未知关系之间建立联系，用于零样本关系分类。实验结果表明，该方法可以推广到未见关系类型，并取得了有希望的提升。

    Oct, 2020

  • 使用统一的多选视角进行零样本自然语言理解

    本篇论文提出一种新的零样本学习范式，其适用于任何格式，并适用于一系列语言任务，如文本分类、常识推理、指代消解和情感分析，并将零样本学习转化为多选任务，从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力，而且显著减少了参数的数量，同时具有高效的训练和部署特点。经实验结果表明，该方法在多个基准测试中表现卓越，且仅使用了 235M 的参数，远小于拥有十亿参数的现有先进模型。

    Oct, 2022

  • CLUES: 使用自然语言解释学习分类器的基准

    研究使用自然语言来训练从语言中零样本学习结构化数据的分类器，并提出一个评估标准 CLUES，其包含 36 个现实世界和 144 个合成分类任务的自然语言监督。为实现此目的，开发了 ExEnt，一种基于蕴含的模型，通过学习解释来学习分类器。

    Apr, 2022

  • 解释自己！利用语言模型进行常识推理

    使用自然语言序列和突出的注释收集人类的常识推理解释，形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型，在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释，可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。

    Jun, 2019

  • 评估零样本通识推理的置信度而非困惑度

    本文提出一种新的通识推理度量标准 ——Non-Replacement Confidence (NRC)，通过 Replaced Token Detection (RTD) 预训练目标在 PLMs 上进行推理，提高了两个通识推理基准数据集和七个通识问题回答数据集的零 - shot 表现。

    Aug, 2022

  • 复合式零样本识别的因果视角

    描述了一种利用因果思想构建复合泛化的方式，并建议将零样本推理视为查找 “哪种干预导致了图像？”; 提出了一种因果启发的嵌入模型，该模型从相关（混淆）训练数据中学习可视对象的基本部分的分解表示，用于预测属性 - 对象对的新组合。 在两个数据集上进行评估，结果比强基准方法有所改善。

    Jun, 2020

  • 大型语言模型中常识知识的系统调查

    本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

    Oct, 2021

  • 自监督语言模型精炼实现零样本常识推理

    本文介绍一项利用自监督学习方法，通过语言模型的微调以及语言扰动来提高零样本常识推理方式的概念表达能力，并在多项基准测试中证明可行性的初步研究。

    Sep, 2021

  • 零样本自然语言视频定位中的常识

    本文研究了零样本自然语言视频定位（NLVL）中常识推理的有效性，并提出了一个名为 CORONET 的零样本 NLVL 框架，利用常识知识图谱，通过常识增强模块来弥合视频和生成的伪查询之间的差距。通过对两个基准数据集的实证评估，证明 CORONET 超过了零样本和弱监督的基准，不同召回阈值下的改进幅度高达 32.13％，在 mIoU 方面的改进幅度高达 6.33％，突出了利用常识推理进行零样本 NLVL 的重要性。

    Dec, 2023

  • 通过逻辑增强大型语言模型中的零射连续推理

    利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。

    Sep, 2023