基于字符级文本嵌入的文本分割

ICMLSep, 2013

Text segmentation with character-level text embeddings

Grzegorz Chrupała

TL;DR该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

Abstract

Learning word representations has recently seen much success in computational linguistics. However, assuming sequences of word tokens as input to linguistic analysis is often unjustified. For many languages word segmentation is a non-trivial task and naturally occurring text is sometim

word representations character sequences simple recurrent network text embeddings character level text segmentation

发现论文，激发创造

利用字符 n-gram 嵌入来提高循环神经网络语言模型

本文提出一种基于循环神经网络的语言模型，并利用字符信息中的 n-gram 构建单词嵌入，结合常规单词嵌入。该模型在语言模型数据集上取得最佳困惑度，同时在机器翻译和标题生成等应用任务中也表现出较好的性能。

Jun, 2019

文本理解中有效的子词分割

通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

Nov, 2018

利用字符和词向量与序列到序列模型进行文本规范化

使用字符级别的注意力和事先训练好的子 / 词级别的嵌入向神经网络提供更多语言学信息，而不需要大量的平行语料库，从而帮助神经网络在标准阿拉伯语语言纠错共享任务数据集上实现最先进的 F1 分数。

Sep, 2018

基于字符识别的神经语言模型

本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

Aug, 2015

文本的神经嵌入

本文提出了一种新的自然语言文本嵌入方法，从语言模型的神经元权重来生成向量，称为神经嵌入，结果表明其在语义表达方面表现良好。

Aug, 2022

神经序列标注模型中字符关注

该论文研究了序列标注结构中使用单词嵌入进行相似性捕获时处理以前未见过或罕见单词时的问题，并提出了一种新颖的架构来组合替代单词表示。通过使用注意力机制，模型能够动态决定从单词或字符级组件中使用多少信息。我们在一系列序列标注数据集上评估了不同的架构，并发现字符级扩展在每个基准测试中都提高了性能。此外，即使使用较少的可训练参数，提出的基于注意力的架构也能够提供最佳结果。

Nov, 2016

基于字符的神经机器翻译

本研究介绍了一种基于字符级别表示的神经机器翻译模型，该模型使用注意力机制实现从字符级别到单词级别的翻译，并具有一定的词形识别与生成能力。

Nov, 2015

中文神经分词学习

本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

Jun, 2016

中文分词的多字符嵌入

本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

Aug, 2018

使用字符 n-gram 嵌入词语和句子

本文主要介绍了一种名为 Charagram 的嵌入模型，使用字符 n-gram 技术来表示词组和句子，并通过单个非线性变换得到低维嵌入向量。作者进行了词相似度、句子相似度和词性标注三个实验任务验证了 Charagram 嵌入的性能，并证明其性能优于基于字符级循环和卷积神经网络的更复杂构架，实现了几个相似度任务的最新的最佳表现。

Jul, 2016