ACLJul, 2023

英语隐含语篇关系分类的 Transformer 之间的并排比较

PDF
TL;DR基于 PDTB-3 数据集，通过对七个预训练语言模型的直接性能比较，我们的模型搜索将 SOTA 提高到了 0.671 的准确率，同时得到了一些新的观察结果，其中包括相对于之前的报道（Shi 和 Demberg, 2019b），句子级预训练目标（NSP，SBO，SOP）通常无法产生最佳性能的模型。反直觉的是，具有类似规模的 MLM 和全关注机制的 PLM 表现更好。
discourse parsingnlp fieldsimplicit discourse relation classificationpre-trained language modelspdtb-3 dataset
发现论文，激发创造
  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • 探讨隐含语篇关系分类中词语和句子表征学习的重要性

    我们提出了一种将强大的上下文表示模块，双边多角度匹配模块和全局信息融合模块结合的新型模型，用于隐含语篇关系分类任务，并在 PDTB 数据集上比 BERT 和其他最先进系统的表现提高了约 8％，在 CoNLL 2016 数据集上提高了约 16％。我们还分析了不同模块在隐含语篇关系分类任务中的有效性，并展示了不同表示学习层次如何影响结果。

    Apr, 2020

  • 激发隐式言论关系注释

    对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

    Feb, 2024

  • 使用跨语言明示技术获取已标注数据以进行隐含式话语关系分类

    本文针对在语篇分析中最具挑战性和重要性的隐式语篇关系分类任务，通过开发连接词，采用回译技术增加训练数据来提高任务的性能，论文探讨了如何有效地利用不同语言的多种翻译来改善附加数据的质量的问题。

    Aug, 2018

  • 基于标注启发的隐式语篇关系分类及辅助语篇连词生成

    研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

    Jun, 2023

  • 预训练的语句嵌入用于隐式语篇关系分类

    本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

    Oct, 2022

  • 在段落中建模话语单元的相互依赖关系以提高隐含话语关系分类能力

    通过构建神经网络模型，模拟句子和段落之间的相互依赖和连续性，并能够连续预测段落中的语篇关系，从而提高隐含的语篇关系分类的效果，并在 PDTB 的基准语料库上取得了最佳性能。

    Apr, 2018

  • 将隐含的话语关系识别扩展到 PDTB-3

    PDTB-3 增加了更多句子内隐含篇章关系的注释，同时有些隐含关系与显式篇章关系共存，这复杂化了隐含篇章关系的定位问题，但简化了其意义辨析问题，本研究提出了一种基于数据的方法来解决这个问题，这可作为未来隐含篇章关系识别的一种非常规的基准。

    Oct, 2020

  • 隐含话语关系识别的多标签分类

    在我们的工作中，我们通过探索各种多标签分类框架来处理隐含语篇关系识别，并显示多标签分类方法不会降低单标签预测的性能。此外，我们对结果和数据进行了全面的分析。我们的工作有助于推动对语篇关系的理解和应用，并为未来研究奠定基础。

    Jun, 2024

  • 利用 Seq2Seq 网络学习明确连接词以进行隐含篇章关系分类

    本文提出了一种新的模型，包含分类器、序列到序列模型以及一个记忆网络，针对隐式语篇关系分类进行研究，结合了 PDTB 语料库对暗示连接的注释，提出了一种针对语篇关系的有效编码方法，并在多个设置下优于现有最先进系统。

    Nov, 2018