Sep, 2021

DisCoDisCo 在 DISRPT2021 共享任务中的系统：话语分段、分类和连词检测

PDF
TL;DR该论文介绍了我们在 DISRPT2021 共享任务中的贡献，我们的系统 DisCoDisCo 基于 Transformer 的神经分类器，在上下文化的词嵌入上增加手工制作的特征，并依靠标记词序列的方法实现话语分割和联结检测，利用富有特征、无编码器的句子对分类器实现关系分类，我们的结果在前两个任务上优于上一次 2019 共享任务的 SOTA 成绩，并且在关系分类上的结果表明对 2021 年新基准测试具有强大的性能。消融实验表明，包括 CWEs 以外的特征对于两个任务都是有帮助的，多个预训练 Transformer 基于语言模型的局部评估表明，基于 Next Sentence Prediction（NSP）任务预训练的模型是实现关系分类的最佳选择。
发现论文，激发创造
  • DISRPT2019 共享任务中的 GumDrop：基于模型堆叠方法的话语单元分割和连接识别

    本文介绍了 GumDrop 系统，它是乔治城大学参加 DISRPT 2019 共享任务的入口，在自动篇章单元分割和连接识别方面取得了优异的成果，该系统采用模型叠加的方法进行训练，结合三个不同的模型堆叠，使其在不同数据集上具有很好的泛化性和稳定性。

    Apr, 2019

  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • 基于标注启发的隐式语篇关系分类及辅助语篇连词生成

    研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

    Jun, 2023

  • 利用 Seq2Seq 网络学习明确连接词以进行隐含篇章关系分类

    本文提出了一种新的模型，包含分类器、序列到序列模型以及一个记忆网络，针对隐式语篇关系分类进行研究，结合了 PDTB 语料库对暗示连接的注释，提出了一种针对语篇关系的有效编码方法，并在多个设置下优于现有最先进系统。

    Nov, 2018

  • 非自回归机器翻译中的分离上下文 Transformer

    本研究提出了一种基于注意力掩码的非自回归式 DisCo Transformer 神经网络模型，并结合并行的 Easy-first 推断算法，旨在同时生成所有标记并减少翻译延迟。相关实验证明该模型在非自回归机器翻译上比现有技术性能相当甚至更好，平均翻译时间明显减少。

    Jan, 2020

  • CCG 主题电路的流程管道

    提出了 DisCoCirc 模型，用于将自然语言文本表示为电路，以提供可以在经典和量子方法中应用于自然语言处理任务的神经符号模型。此外，还描述了将英语文本转换为 DisCoCirc 表示的软件管道，该管道使用组合的范畴语法解析及核心指代解析信息来转换文本。

    Nov, 2023

  • DisCo: 面向推荐的表格和语义空间之间的和谐解耦和协作

    我们提出了一种名为 DisCo 的方法，以增强推荐系统，其中捕获了两个表示空间的特异性和一致性，然后将这些特征作为额外特征附加到任意的推荐主干中，实验证实了我们方法的优越性和兼容性。

    May, 2024

  • 使用 DisCoCat 进行多类别情感分析的 Q-NLP 实验

    本文介绍了一种基于 DisCoCat 语言模型和量子计算的方法，实现了四类情感分析的任务，并证明了该方法具有良好的可扩展性。

    Sep, 2022

  • DiscoScore：使用 BERT 和上下文连贯性评估文本生成

    介绍了一种基于 Centering 理论和 BERT 的参数化的 Discourse 评估度量，DiscoScore，在结构连贯性、事实一致性等方面优于当前流行的评估度量 BARTScore。

    Jan, 2022