COLINGSep, 2022

注入话语依赖性以提高主题分割

PDF
TL;DR我们提出了一种注入了句际依赖结构的话语感知神经主题分割模型，以更好地利用句子之间的主题一致性进行主题边界分割预测，并在英文评估数据集上进行实证研究表明，我们的策略显著提高了神经主题分割器在域内和域外数据上的性能。
neural topic segmentationdiscourse-aware modelinter-sentential topical consistencyenglish evaluation datasetsout-of-domain data
发现论文，激发创造
  • 使用远程监督预测句子上文结构：以主题分割为例

    该研究提出了一种利用主题分割技术进行远程监督的方法来解决现代话语解析中由于数据稀缺问题所面临的困境，实验结果表明该方法能够有效地产生准确的树状结构并较之前的方法取得了更高的得分。

    Dec, 2021

  • 在段落中建模话语单元的相互依赖关系以提高隐含话语关系分类能力

    通过构建神经网络模型，模拟句子和段落之间的相互依赖和连续性，并能够连续预测段落中的语篇关系，从而提高隐含的语篇关系分类的效果，并在 PDTB 的基准语料库上取得了最佳性能。

    Apr, 2018

  • 使用上下文表示改进话语依存分析

    本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

    May, 2022

  • 聚焦本地上下文的话题分割模型

    提出了采用孪生句子嵌入层的主题分割方法，结合同一主题预测、主题分类和下一句预测等多任务学习技术，实现对 WikiSection 数据集中文档的最新分割结果。

    Jan, 2023

  • 跨语言与跨领域的整个文档语篇切分

    该文章介绍了基于统计方法的语篇分割器，可用于五种语言和三个领域中，无需事先标注的数据，并且提供了有监督和无监督学习的结果。

    Apr, 2017

  • 可解释的、话语主题感知的神经语言理解

    该研究介绍了一种将主题模型与语言模型相结合的方法，扩展了语言理解的范围，通过主题进行了文档级上下文的抽取，并提出了一种可解释的主题表征，将主题语义加入到语言模型中。通过建模每个句子中的话题，保留了句子与文档主题关联，提出了一种既有隐藏话题，同时又有可解释话题的神经组合语言模型。该模型在多项任务中展现了显著提升的能力，包括语言建模、词义消岐、文档分类、检索和文本生成。

    Jun, 2020

  • 对话篇章解析和主题分割的无监督共学习

    通过主题分割和话语解析，我们提出了一种无监督的两种结构的互学习框架，以实现对话系统的全局目标和话语策略的一致性。实验结果表明，我们的方法在两个对话话语数据集（STAC 和 Molweni）以及对话主题数据集（Doc2Dial 和 TIAGE）上优于所有强基准模型。

    May, 2024

  • 语言模型在半结构化和非结构化对话数据集中的主题分割

    我们综合分析了现有的最先进主题分割模型在非结构化文本上的泛化能力，并发现充分训练目标非结构化领域的相对较小规模数据集可以显著提高分割结果。在对非结构化和半结构化聊天进行分割时，我们的实证评估表明，Focal Loss 函数是交叉熵和加权交叉熵损失函数的一个强大的替代方案。

    Oct, 2023

  • 主题驱动神经语言模型

    本文介绍了一种神经语言模型，可以通过类似主题模型的架构将文档上下文（而非当前句子）作为简洁的表征加入模型中。实验表明，这种模型在语言模型困惑度和主题相关性方面优于仅基于句子的模型和标准 LDA 主题模型。同时，该模型还具有生成单个主题关联句子的功能，为主题的解释提供了另一种方式。

    Apr, 2017

  • 开放领域话语连贯性的神经网络模型

    本研究提出了一种无域限制的神经模型，可用于度量多个方面的连贯性，并能在生成新语句时保持连贯性，该模型包括区分性模型和生成性模型，以及一种新的基于神经潜变量马尔科夫生成模型，可捕获文本中句子之间的隐含连贯性依赖关系，并在多个连贯性评估方面取得了最先进的表现，为处理语篇上下文生成连贯性文本迈出了一步。

    Jun, 2016