走向统一的文本分割和长文摘要

EMNLPOct, 2022

Toward Unifying Text Segmentation and Long Document Summarization

Sangwoo Cho, Kaiqiang Song, Xiaoyang Wang, Fei Liu, Dong Yu

TL;DR本文研究了文本切分在摘要提取中的作用，通过将摘要和切分同时进行学习，以及通过一种基于优化的正则化方法来提高模型的多样性，实现了既能在科学文章也能在口语记录中达到最优性能且具有更好的跨体裁可转移性的效果。

Abstract

text segmentation is important for signaling a document's structure. Without segmenting a long document into topically coherent sections, it is difficult for readers to comprehend the text, let alone find important information. The problem is only exacerbated by a lack of segmentation

text segmentation document structure extractive summarization sentence representation cross-genre transferability

发现论文，激发创造

文本分段的文档摘要

本研究旨在利用文献的内在结构，通过建立两个文本分割模型并寻找最优策略，使它们的输出预测投入到一种提取式摘要模型中，实验结果表明，提取式摘要从使用高准确度的分割方法中受益匪浅，特别地，在文档中最相关信息不在开头的情况下，分割有助于减少引导偏差问题。

Jan, 2023

结构化摘要：统一的文本分段和段落标注作为生成任务

提出一种单一的编码器 - 解码器神经网络方法，通过结构化总结的形式同时训练文档和对话数据的文本切片和标签任务，并成功展示了该方法在所属领域的顶尖性能以及其重要性。

Sep, 2022

从文本分割到智能分章：一个用于视频转录结构化的新型基准测试

本文介绍了一个新的评测基准 YTSeg，着重于非结构化的语音内容，提出了一种高效的层次分割模型 MiniSeg，并对比了现有的基准方法。此外，还将文本分割的概念扩展到实际的 “智能章节切割” 任务中，包括非结构化内容的分割、生成有意义的片段标题以及模型的潜在实时应用。

Feb, 2024

文本分割作为监督学习任务

本研究利用维基百科文章，将文本分割任务作为有监督学习问题进行探究，提出了一个基于这个数据集的文本分割模型，并展示了其在未见过的自然文本上的泛化能力。

Mar, 2018

野外话题分割：面向半结构化和非结构化聊天分割

本文在分析当前 NLP 中的主题分割模型的通用性能力时，发现在处理非结构化文本时，预训练策略并没有提高模型在该领域的可迁移性，只用一个相对较小的与目标结构相同的训练集从头开始训练模型，可以显著改善分类结果...

Nov, 2022

跨片段关注的文本分割

本研究提出三种基于 Transformer 的架构，并在三个标准数据集上进行全面比较，建立了一个新的最先进水平，在所有情况下特别是大幅减少了误差率。研究还分析了模型大小，并发现能够构建具有更少参数但保持良好性能的模型，从而促进了实际应用。

Apr, 2020

语言模型在半结构化和非结构化对话数据集中的主题分割

我们综合分析了现有的最先进主题分割模型在非结构化文本上的泛化能力，并发现充分训练目标非结构化领域的相对较小规模数据集可以显著提高分割结果。在对非结构化和半结构化聊天进行分割时，我们的实证评估表明，Focal Loss 函数是交叉熵和加权交叉熵损失函数的一个强大的替代方案。

Oct, 2023

法律文件的结构化文本分段

本研究提出了一种基于 transformer 网络和结构化文本分割的方法来预测跨越多个段落的连续文本段落的主题连贯性，以更有效地满足用户特定的信息需求，研究结果表明，此方法显著优于基线，并适应法律文件的结构特点。

Dec, 2020

长文档摘要的分而治之方法

该研究提出了一种新颖的分治法神经摘要长文档的方法，结合话语结构和句子相似性将长文档分解为多个摘要子问题。通过该方法可以有效地降低计算复杂度，提高摘要效果。

Apr, 2020

轻量级音频分割用于长篇语音翻译

提出了一种小型模型的分段模型，使用 ASR 语音识别与标点任务作为前训练策略并将其整合到 ST 系统中，以提高语音翻译质量。

Jun, 2024