Aug, 2022

评估零样本通识推理的置信度而非困惑度

PDF
TL;DR本文提出一种新的通识推理度量标准 ——Non-Replacement Confidence (NRC)，通过 Replaced Token Detection (RTD) 预训练目标在 PLMs 上进行推理，提高了两个通识推理基准数据集和七个通识问题回答数据集的零 - shot 表现。
发现论文，激发创造
  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • 零样本通识推理的提示工程和校准

    在小型语言模型上研究及评估大型语言模型的理解任务，包括多项选择常识推理，结果显示各种策略对不同的模型有利，但联合效果大多为负。

    Apr, 2023

  • 推动 Transformer 在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

    Oct, 2023

  • 大型语言模型中常识知识的系统调查

    本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

    Oct, 2021

  • 提供常识推理任务的对比解释

    本研究证明了在使用预训练语言模型进行通识推理任务时，使用对比性的解释来完成解释提示可以提高性能并获得更准确的结果，同时提高人类可理解性。

    Jun, 2021

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 自监督语言模型精炼实现零样本常识推理

    本文介绍一项利用自监督学习方法，通过语言模型的微调以及语言扰动来提高零样本常识推理方式的概念表达能力，并在多项基准测试中证明可行性的初步研究。

    Sep, 2021

  • 基于知识驱动的数据构建在常识问答中的零样本评估

    本文提出了一种基于神经符号框架的零样本问题回答方法，利用预训练模型的外部知识资源，获得了在不同任务中的一致性提升，并且在任务结构保持的同时还生成了公平和信息丰富的问题，从而提高了语言模型的学习效果。

    Nov, 2020

  • 预训练几乎就是你所需要的：应用于常识推理

    本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。

    Apr, 2020