跨片段关注的文本分割

Apr, 2020

Text Segmentation by Cross Segment Attention

Michal Lukasik, Boris Dadachev, Gonçalo Simões, Kishore Papineni

TL;DR本研究提出三种基于 Transformer 的架构，并在三个标准数据集上进行全面比较，建立了一个新的最先进水平，在所有情况下特别是大幅减少了误差率。研究还分析了模型大小，并发现能够构建具有更少参数但保持良好性能的模型，从而促进了实际应用。

Abstract

Document and discourse segmentation are two fundamental nlp tasks pertaining to breaking up text into constituents, which are commonly used to help downstream tasks such as information retrieval or text summariza

nlp segmentation transformer-based architectures state-of-the-art model sizes

发现论文，激发创造

基于注意力机制的神经文本分割

本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

Aug, 2018

快速且准确的神经话语分割

本文提出一种基于 BiLSTM-CRF 框架的端到端神经分割器，为了提高其准确性，我们解决了数据不足的问题，并使用自我注意机制捕捉了有用的邻域信息，实验结果表明，我们的模型在达到新的最佳性能的同时，比以前的方法快得多。

Aug, 2018

走向统一的文本分割和长文摘要

本文研究了文本切分在摘要提取中的作用，通过将摘要和切分同时进行学习，以及通过一种基于优化的正则化方法来提高模型的多样性，实现了既能在科学文章也能在口语记录中达到最优性能且具有更好的跨体裁可转移性的效果。

Oct, 2022

文本分段的文档摘要

本研究旨在利用文献的内在结构，通过建立两个文本分割模型并寻找最优策略，使它们的输出预测投入到一种提取式摘要模型中，实验结果表明，提取式摘要从使用高准确度的分割方法中受益匪浅，特别地，在文档中最相关信息不在开头的情况下，分割有助于减少引导偏差问题。

Jan, 2023

跨语言与跨领域的整个文档语篇切分

该文章介绍了基于统计方法的语篇分割器，可用于五种语言和三个领域中，无需事先标注的数据，并且提供了有监督和无监督学习的结果。

Apr, 2017

结构化摘要：统一的文本分段和段落标注作为生成任务

提出一种单一的编码器 - 解码器神经网络方法，通过结构化总结的形式同时训练文档和对话数据的文本切片和标签任务，并成功展示了该方法在所属领域的顶尖性能以及其重要性。

Sep, 2022

法律文件的结构化文本分段

本研究提出了一种基于 transformer 网络和结构化文本分割的方法来预测跨越多个段落的连续文本段落的主题连贯性，以更有效地满足用户特定的信息需求，研究结果表明，此方法显著优于基线，并适应法律文件的结构特点。

Dec, 2020

语言模型在半结构化和非结构化对话数据集中的主题分割

我们综合分析了现有的最先进主题分割模型在非结构化文本上的泛化能力，并发现充分训练目标非结构化领域的相对较小规模数据集可以显著提高分割结果。在对非结构化和半结构化聊天进行分割时，我们的实证评估表明，Focal Loss 函数是交叉熵和加权交叉熵损失函数的一个强大的替代方案。

Oct, 2023

野外话题分割：面向半结构化和非结构化聊天分割

本文在分析当前 NLP 中的主题分割模型的通用性能力时，发现在处理非结构化文本时，预训练策略并没有提高模型在该领域的可迁移性，只用一个相对较小的与目标结构相同的训练集从头开始训练模型，可以显著改善分类结果...

Nov, 2022

跨文档注意力的多级文本对齐

本文提出了一种新的学习方法，使先前建立的用于表示文档的分层注意编码器具有跨文档关注组件，能够在多个层次上对齐文本，其在引用和抄袭检测方面的应用表现优异。

Oct, 2020