为比较推理预训练语言模型

May, 2023

Pre-training Language Models for Comparative Reasoning

Mengxia Yu, Zhihan Zhang, Wenhao Yu, Meng Jiang

TL;DR本文提出了一种新的预训练语言模型框架，通过增强其对文本的比较推理能力来提高 NLP 任务的性能，该框架通过收集结构化和非结构化数据设计了三个新的预训练任务，并在比较问答、问句生成和摘要等下游任务中进行了评估，结果显示，我们的预训练框架显著提高了语言模型的比较推理能力，特别是在低资源条件下。此外，本工作还发布了第一个针对文本比较推理的综合基准。

Abstract

In this paper, we propose a novel framework to pre-train language models for enhancing their abilities of comparative reasoning over texts. While recent research has developed models for →

comparative reasoning language models pre-training nlp tasks benchmark

发现论文，激发创造

提高预训练语言模型的数值推理能力

提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

May, 2022

oLMpics -- 关于语言模型预训练所捕获内容的研究

本研究提出了八项推理任务并设计了评估方案，发现不同的预训练语言模型在推理任务中表现出不同的能力。此外，还发现预训练模型的推理能力具有上下文限制。

Dec, 2019

推动 Transformer 在常识推理中的能力

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

基于何种依据？通过结构化的比较推理预测文本偏好