IJCAIApr, 2020

探讨隐含语篇关系分类中词语和句子表征学习的重要性

PDF
TL;DR我们提出了一种将强大的上下文表示模块，双边多角度匹配模块和全局信息融合模块结合的新型模型，用于隐含语篇关系分类任务，并在 PDTB 数据集上比 BERT 和其他最先进系统的表现提高了约 8％，在 CoNLL 2016 数据集上提高了约 16％。我们还分析了不同模块在隐含语篇关系分类任务中的有效性，并展示了不同表示学习层次如何影响结果。
implicit discourse relation classificationcontextualized representation modulemult-perspective matching moduleglobal information fusion modulepdtb dataset
发现论文，激发创造
  • 深度增强表示法用于隐式语篇关系识别

    本研究探讨了一种模型，利用包括字符，子词，单词，句子和句对级别的不同粒度的文本表示来更好地表示文本，该模型在隐含关系识别中取得了 48% 以上的最新成果。

    Jul, 2018

  • 在段落中建模话语单元的相互依赖关系以提高隐含话语关系分类能力

    通过构建神经网络模型，模拟句子和段落之间的相互依赖和连续性，并能够连续预测段落中的语篇关系，从而提高隐含的语篇关系分类的效果，并在 PDTB 的基准语料库上取得了最佳性能。

    Apr, 2018

  • DisSent: 显式语篇关系的句子表征学习

    利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

    Oct, 2017

  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • 利用 Seq2Seq 网络学习明确连接词以进行隐含篇章关系分类

    本文提出了一种新的模型，包含分类器、序列到序列模型以及一个记忆网络，针对隐式语篇关系分类进行研究，结合了 PDTB 语料库对暗示连接的注释，提出了一种针对语篇关系的有效编码方法，并在多个设置下优于现有最先进系统。

    Nov, 2018

  • 预训练的语句嵌入用于隐式语篇关系分类

    本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

    Oct, 2022

  • 隐含话语关系识别的多标签分类

    在我们的工作中，我们通过探索各种多标签分类框架来处理隐含语篇关系识别，并显示多标签分类方法不会降低单标签预测的性能。此外，我们对结果和数据进行了全面的分析。我们的工作有助于推动对语篇关系的理解和应用，并为未来研究奠定基础。

    Jun, 2024

  • 英语隐含语篇关系分类的 Transformer 之间的并排比较

    基于 PDTB-3 数据集，通过对七个预训练语言模型的直接性能比较，我们的模型搜索将 SOTA 提高到了 0.671 的准确率，同时得到了一些新的观察结果，其中包括相对于之前的报道（Shi 和 Demberg, 2019b），句子级预训练目标（NSP，SBO，SOP）通常无法产生最佳性能的模型。反直觉的是，具有类似规模的 MLM 和全关注机制的 PLM 表现更好。

    Jul, 2023

  • 基于标注启发的隐式语篇关系分类及辅助语篇连词生成

    研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

    Jun, 2023

  • 将隐含的话语关系识别扩展到 PDTB-3

    PDTB-3 增加了更多句子内隐含篇章关系的注释，同时有些隐含关系与显式篇章关系共存，这复杂化了隐含篇章关系的定位问题，但简化了其意义辨析问题，本研究提出了一种基于数据的方法来解决这个问题，这可作为未来隐含篇章关系识别的一种非常规的基准。

    Oct, 2020