ACLApr, 2020

预训练几乎就是你所需要的：应用于常识推理

PDF
TL;DR本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。
pre-trained transformer modelsfine-tuningscoring methodcommonsense reasoning tasksplausibility ranking
发现论文，激发创造
  • 使用预训练模型探索具有泛化性通识推理策略

    本篇论文研究如何通过三种不同的适应方法来影响模型的泛化和准确性，其中 fine-tuning 虽然能够更好地学习任务的内容和结构，但容易出现过拟合和泛化能力有限的问题，相比较而言，使用类似 prefix-tuning 的替代适应方法能够更好地适应未见过的答案，并且更加鲁棒。

    Sep, 2021

  • 推动 Transformer 在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

    Oct, 2023

  • 为基于概念的常识构建预训练文本到文本变换模型

    本文提出概念感知的语言模型 (CALM)，通过增强自监督学习任务以从文本中学习常识。CALM 可以在不依赖外部知识图谱的情况下将更多的常识知识整合到预先训练的文本转文本变压器的参数中，从而在自然语言理解和生成任务中实现更好的性能。

    Oct, 2020

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 基于注意力头的公共常识推理跨语言迁移研究

    本研究提出一个新的简单方法，利用预先训练的跨语言模型来进行常识推理，并在多语言 Winograd 模式语料库上进行了评估，结果表明即使在其他语言中零样本情况下，该方法具有与监督和非监督方法相当的性能表现，并提供了多语言编码器普遍推理能力的证据。

    Jun, 2021

  • 基于常识预训练的问答系统改进

    本文提供一种有效的方法，通过使用外部的常识知识库，例如 ConceptNet，来预训练直接和间接的概念相关函数，并将其添加到现有的神经网络模型中，以提高基于常识推理的三个问答任务的基础结果。结果表明，我们的系统能够发现和利用外部常识知识库中有用的证据，这对于导出正确答案很有帮助。

    Sep, 2018

  • 一种简单的方法：将常识性知识融入语言表示模型中的对齐、掩码和选择

    提出了一种利用预训练方法将常识知识融入语言表示模型的方法，并通过训练一个多项选择问题回答数据集来实现。实验结果表明，使用该方法进行预训练之后 Fine-tuning 的模型，在两个常识关联基准测试上都能取得显著提高，并且不会降低模型的语言表示能力。

    Aug, 2019

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 使用语义级别精度和扩展词汇探究预训练语言模型中常识知识

    本研究探讨了如何在大型语言模型中丰富常识知识，并提出了一种基于 WordNet 的实化感知库对语言模型进行增强的方法，从而提高掩蔽式任务的预测精度。通过自我监督学习，在不进行进一步训练的情况下，实现了从 WordNet、WikiData 和 ConceptNet 中获取非平凡的常识知识，并比类似的基于相似性的方法更加有效。

    Oct, 2022