可扩展的领域通用抽象命题分段

Jun, 2024

Scalable and Domain-General Abstractive Proposition Segmentation

Mohammad Javad Hosseini, Yang Gao, Tim Baumgärtner, Alex Fabrikant, Reinald Kim Amplayo

TL;DR将文本分成细粒度的含义单元对于广泛的自然语言处理应用非常重要，本文重点讨论了抽象命题分割的任务，并提出了评估指标和可扩展准确的命题分割模型，同时介绍了领域泛化方法，并分享了一个简单易用的 API。

Abstract

Segmenting text into fine-grained units of meaning is important to a wide range of NLP applications. The default approach of segmenting text into sentences is often insufficient, especially since sentences are usually complex enough to include multiple units of meaning that merit separate treatment in the downstream task. We focus on the task of abstractive

text segmentation abstractive proposition segmentation evaluation metrics proposition segmentation model domain generalization

发现论文，激发创造

PropSegmEnt: 一个用于命题级别分割和蕴含识别的大规模语料库

本论文提出了 PropSegmEnt，这是一个超过 35K 的已由人类专家标注的命题语料库，用于 NLI 任务中的命题分割和关系分类，证明了这个框架有助于理解和解释 NLI 标签的组合性。

Dec, 2022

论文标题：论从复杂句子到关联命题的言语感知文本简化

在语义上意识到文本中的句子结构和上下文联系，通过将复杂句子进行拆分和重新表述，生成有语义层次的简化句子，以提高自然语言处理应用的预测质量。

Aug, 2023

任何文本的分段：一种用于鲁棒、高效和适应性句子分割的通用方法

利用新模型解决分隔文本中缺失标点符号的问题，并实现在不同领域的高效表现，以及在实际情况中文字格式不良的具有普适性的分词方法。

Jun, 2024

FRACTAL：基于文本标签的细粒度评分

我们介绍了一种将响应级别标签细分为句子级别（伪）标签的方法，该方法利用多实例学习（MIL）和学习标签比例（LLP）技术以及先前信息训练专用模型进行句子级别评分，并利用模型预测对训练集进行伪标签，以进一步提高性能。我们在六个数据集和四个任务上进行了广泛的评估，结果表明在大多数任务中与多个基准方法相比，我们的方法性能有所提高。这项工作是第一个将响应级别反馈应用到句子级别评分技术，并利用句子级别先前信息进行全面评估的工作，同时进行了端到端微调评估，表明性能与基于精细人工标注标签训练的模型相当。

Apr, 2024

基于注意力机制的神经文本分割

本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

Aug, 2018

语言模型在半结构化和非结构化对话数据集中的主题分割

我们综合分析了现有的最先进主题分割模型在非结构化文本上的泛化能力，并发现充分训练目标非结构化领域的相对较小规模数据集可以显著提高分割结果。在对非结构化和半结构化聊天进行分割时，我们的实证评估表明，Focal Loss 函数是交叉熵和加权交叉熵损失函数的一个强大的替代方案。

Oct, 2023

文本分割作为监督学习任务

本研究利用维基百科文章，将文本分割任务作为有监督学习问题进行探究，提出了一个基于这个数据集的文本分割模型，并展示了其在未见过的自然文本上的泛化能力。

Mar, 2018

多文档摘要的命题级聚类

本研究重新审视单词聚类方法，通过将子句命题分组，从而能更精确地对齐信息。我们的方法检测重要的命题，将它们聚类形成释义的群集，并通过文本融合为每个聚类生成代表性句子。在 DUC2004 和 TAC2011 数据集中，我们的总结方法在自动 ROUGE 分数和人类偏好方面优于先前的 MDS 方法。

Dec, 2021

法律文件的结构化文本分段

本研究提出了一种基于 transformer 网络和结构化文本分割的方法来预测跨越多个段落的连续文本段落的主题连贯性，以更有效地满足用户特定的信息需求，研究结果表明，此方法显著优于基线，并适应法律文件的结构特点。

Dec, 2020

跨片段关注的文本分割

本研究提出三种基于 Transformer 的架构，并在三个标准数据集上进行全面比较，建立了一个新的最先进水平，在所有情况下特别是大幅减少了误差率。研究还分析了模型大小，并发现能够构建具有更少参数但保持良好性能的模型，从而促进了实际应用。

Apr, 2020