ACLMay, 2022

基于段落的 Transformer 预训练模型用于多句推理

PDF
TL;DR本文介绍了一种新的预训练目标，用于在多个输入句子之间建模段落级别的语义，并证明了该预训练技术在多候选推理任务的联合建模和交叉编码器场景下优于传统技术。
answer sentence selectionfact verificationtransformer-based modelsmulti-candidate inference taskspre-training technique
发现论文，激发创造
  • 使用句子级目标预训练 Transformer 模型进行答句选择

    本文提出了三种新的句子级别的 transformer 预训练目标，以提高 transformer 模型在答案句子选择和文档检索任务中的表现，并减轻对大量标记数据的需求。实验证明，我们的预训练 transformer 模型在三个公共 AS2 数据集和一个工业 AS2 数据集上的表现优越，胜过 RoBERTa 和 ELECTRA 等基线模型。

    May, 2022

  • 上下文感知 Transformer 预训练与答案句子选择

    该研究提出了三个预训练目标，旨在模拟上下文 Answer Sentence Selection 的下游微调任务，并应用于 RoBERTa 和 ELECTRA 等模型，达到一定的准确率提升。

    May, 2023

  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • 面向自然语言推理的语言学启发式多目标预训练

    本研究介绍了一种使用预训练方法的语言增强模型，包括基于词性标注、基于语义知识图谱的同义词预测和基于依存句法树的父级预测的预训练目标。结果表明，该方法在自然语言推断任务上具有竞争力。特别是对于更小的模型，这种方法可以显著提高性能，强调了智能预训练可以弥补较少的参数缺陷，并有助于构建更高效的模型。综合考虑词性标注和同义词预测可以获得最佳结果。

    Dec, 2022

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 使用预训练 Transformer 一次性提取多个关系

    本研究针对多关系抽取任务，提出仅需一次编码的解决方案，结合预先训练的自我注意力（Transformer）模型、结构预测层和实体感知注意力技术，能够在处理更长段落和大型文本语料库上具有可扩展性，且在标准基准测试 ACE2005 上实现了最好的效果。

    Feb, 2019

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 基于检索式问答系统的答案生成

    本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

    Jun, 2021

  • 增强主题连贯性的基于预训练 Transformer 的神经文本分割模型

    本文提出了一种名为 Transformer$^2$ 的基于 transformer 的 transformer 框架，用于进行神经文本分割，并在实验中证明了其在语义一致性方面的优越性。

    Oct, 2021

  • 使用双分图预训练进行无监督的图卷积自编码器抽取式摘要

    利用预训练句子表示解决自动摘要中的关键句子识别问题，通过图预训练自编码器获得句子嵌入，并应用基于图的排名算法进行无监督摘要生成，表现优于基于 BERT 或 RoBERTa 的句子表示方法。

    Oct, 2023