ACLMay, 2020

Commonsense Reasoning 的对比自监督学习

PDF
TL;DR本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。
self-supervised methodpronoun disambiguationwinograd schema challengecommonsense reasoningtransformer networks
发现论文，激发创造
  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • 通用常识推理的无监督深度结构语义模型

    本文提出使用基于深度结构语义模型（DSSM）的神经网络模型，并借助大量未经监督学习的文本来学习常识知识，以解决常识推理任务（Winograd Schema challenges）和代词消岐（Pronoun Disambiguation），并证明其在句子上下文信息和代词和名词之间的引用信息捕捉方面的有效性和显著性改进。

    Apr, 2019

  • 推动 Transformer 在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

    Oct, 2023

  • 基于注意力机制的对比学习在 Winograd Schema 上的应用

    本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理能力，该方法胜过所有可比的无监督方法，有时甚至超越有监督学习。

    Sep, 2021

  • 自监督语言模型精炼实现零样本常识推理

    本文介绍一项利用自监督学习方法，通过语言模型的微调以及语言扰动来提高零样本常识推理方式的概念表达能力，并在多项基准测试中证明可行性的初步研究。

    Sep, 2021

  • 句子表示的配对监督对比学习

    本文提出了一种基于实例区分的方法 PairSupCon，旨在通过高级分类概念编码在语义蕴含和矛盾理解之间建立联系。该方法在各种下游任务中均取得了极好的效果，超过了先前的最先进方法。

    Sep, 2021

  • 基于注意力头的公共常识推理跨语言迁移研究

    本研究提出一个新的简单方法，利用预先训练的跨语言模型来进行常识推理，并在多语言 Winograd 模式语料库上进行了评估，结果表明即使在其他语言中零样本情况下，该方法具有与监督和非监督方法相当的性能表现，并提供了多语言编码器普遍推理能力的证据。

    Jun, 2021

  • elBERto: 自监督通识学习用于问答

    本文提出了一种自我监督的双向编码器表示学习共存框架（elBERto）, 该框架由五项自我监督任务组成，用于在掌握上下文中的丰富常识的情况下，强制模型充分利用额外的训练信号从而提高通识问题回答的准确性。实验表明，使用该框架在 WIQA、CosmosQA 和 ReClor 数据集上均可获得优异成绩，并且表现出了多种常识的学习能力和能够利用上下文动态性的特点。

    Mar, 2022

  • 自监督关系推理的表示学习

    本研究提出了一种新型的自监督关系式推理算法，通过学习如何区分实体之间的关系，使得在底层神经网络骨干中具备丰富的关系描述能力。该算法在标准数据集、协议和骨干模型上的实验结果表明，它的准确性比现行同类算法平均提高 14％，比最近的最先进算法提高 3％，对提高下游任务的表现非常有效。

    Jun, 2020

  • 用于上下文常识推理的对抗变换器语言模型

    本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

    Feb, 2023