Oct, 2022

预训练的语句嵌入用于隐式语篇关系分类

PDF
TL;DR本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。
implicit discourse relationssense predictionneural networkpre-trained embeddingsperformance improvements
发现论文，激发创造
  • DisSent: 显式语篇关系的句子表征学习

    利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

    Oct, 2017

  • 探讨隐含语篇关系分类中词语和句子表征学习的重要性

    我们提出了一种将强大的上下文表示模块，双边多角度匹配模块和全局信息融合模块结合的新型模型，用于隐含语篇关系分类任务，并在 PDTB 数据集上比 BERT 和其他最先进系统的表现提高了约 8％，在 CoNLL 2016 数据集上提高了约 16％。我们还分析了不同模块在隐含语篇关系分类任务中的有效性，并展示了不同表示学习层次如何影响结果。

    Apr, 2020

  • 深度增强表示法用于隐式语篇关系识别

    本研究探讨了一种模型，利用包括字符，子词，单词，句子和句对级别的不同粒度的文本表示来更好地表示文本，该模型在隐含关系识别中取得了 48% 以上的最新成果。

    Jul, 2018

  • 在段落中建模话语单元的相互依赖关系以提高隐含话语关系分类能力

    通过构建神经网络模型，模拟句子和段落之间的相互依赖和连续性，并能够连续预测段落中的语篇关系，从而提高隐含的语篇关系分类的效果，并在 PDTB 的基准语料库上取得了最佳性能。

    Apr, 2018

  • 激发隐式言论关系注释

    对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

    Feb, 2024

  • 利用 Seq2Seq 网络学习明确连接词以进行隐含篇章关系分类

    本文提出了一种新的模型，包含分类器、序列到序列模型以及一个记忆网络，针对隐式语篇关系分类进行研究，结合了 PDTB 语料库对暗示连接的注释，提出了一种针对语篇关系的有效编码方法，并在多个设置下优于现有最先进系统。

    Nov, 2018

  • 话语关系嵌入：在社交媒体中表示话语片段之间的关系

    本论文提出了一种用于学习社交媒体语篇间关系的新型方法 ——DiscRE，通过弱监督的多任务学习方法，实现了自动创建语篇关系嵌入，取得了在 Twitter 语篇关系分类任务上最佳性能，同时改善了社交媒体因果关系预测的现状。

    May, 2021

  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • SEE: 基于语法感知的实体嵌入用于神经关系抽取

    本文提出了一种基于语法树和句子嵌入的远程监督关系抽取方法，使用句子和实体的嵌入对关系进行分类，实验结果表明这种方法在真实数据集上取得了最佳的性能。

    Jan, 2018

  • 英语隐含语篇关系分类的 Transformer 之间的并排比较

    基于 PDTB-3 数据集，通过对七个预训练语言模型的直接性能比较，我们的模型搜索将 SOTA 提高到了 0.671 的准确率，同时得到了一些新的观察结果，其中包括相对于之前的报道（Shi 和 Demberg, 2019b），句子级预训练目标（NSP，SBO，SOP）通常无法产生最佳性能的模型。反直觉的是，具有类似规模的 MLM 和全关注机制的 PLM 表现更好。

    Jul, 2023