基于语义词嵌入的文本分割

Mar, 2015

Text Segmentation based on Semantic Word Embeddings

Alexander A Alemi, Paul Ginsparg

TL;DR本研究探讨了在文本分割算法中应用语义单词嵌入的方法，包括C99分割算法和灵感来自分布式单词向量表示的新算法，并通过开发一个用于讨论一类分割目标的通用框架，研究了贪婪与精确优化方法的有效性，建议了一种新的迭代改进技术来提高贪婪策略的性能，将结果与已知基准进行比较并演示了我们的内容向量分割（CVS）在Choi测试集上的未经训练方法的最先进性能。最后，我们将分割过程应用于从arXiv.org 数据库中提取的学术文献的野外数据集。

Abstract

We explore the use of semantic word embeddings in text segmentation algorithms, including the C99 segmentation algorithm and new algorithms inspired by the distributed word vector representation. By developing a

发现论文，激发创造

基于字符级文本嵌入的文本分割

该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

Sep, 2013

丰富预训练神经词语分割

通过使用更丰富的外部信息来预先训练模块化分词模型，神经词分割的效果得到了显著的提高，在六项基准测试中达到了竞争最佳方法的准确度。

Apr, 2017

使用通用和特定词嵌入来分类研究的翻译阶段

本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

May, 2017

从图像到文本分类：一种基于聚类词嵌入的新方法

本文提出了一种基于聚类词向量的文本分类方法，使用K均值算法构建超级词向量表征，建立特定于类别的词汇表以提高性能，在主题分类和极性分类任务中表现优异。

Jul, 2017

文本分割作为监督学习任务

本研究利用维基百科文章，将文本分割任务作为有监督学习问题进行探究，提出了一个基于这个数据集的文本分割模型，并展示了其在未见过的自然文本上的泛化能力。

Mar, 2018

无分割组合$n$-gram嵌入

该研究提出了一种新型的表示学习方法，它无需依赖于词语分割和人工注释资源，能有效处理像中文和日文这样的非分割语言中的嘈杂语料库，方法的主要思想是彻底忽略词语边界，利用组合子n-gram的嵌入来构建原始语料库中所有字符n-gram的表示。

Sep, 2018

文本理解中有效的子词分割

通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

Nov, 2018

局部聚合词向量的向量化(VLAWE): 一种新的文档级表示方法

本文提出了一种基于聚合单词嵌入向量来表示文本的新方法，并将其用于文本分类任务，其中利用词向量的聚类来获得文档嵌入向量，并且VLAWE表示法能够达到很好的效果。

Feb, 2019

利用单词嵌入改善跨领域中文分词

本文提出了一种基于半监督学习的词嵌入方法，用于提高跨领域中文分词的性能，实验证明该方法在小样本领域中表现良好，可以优化分词结果，尤其是在分割具有特定领域名词实体的数据集时较为有效。

Mar, 2019

重构文本分割：一个新的数据集和文本特定的优化方法

本文提出了一个新的文本分割方法TexRNet和一个大规模的细致注释的文本数据集 TextSeg，通过引入文本特定的网络设计，例如关键特征池化和基于注意力的相似性检查，以及 trimap 和判别器损失来解决传统分割模型上存在的问题，包括非凸边界和各种纹理等，相比其他先进的分割方法，显示出2％以上的性能提升。

Nov, 2020