本文提出了一种使用子词而非字符的词嵌入增强方法，以增强阅读理解模型。 在不同的扩充策略下，该方法在公共数据集上显着优于现有的基线模型。

Jun, 2018

本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

Apr, 2019

本文提出了一种字符增强的阅读器，结合字和字符嵌入的不同集成策略，用一份短列表来增强字嵌入，从而改善字的表示，特别是罕见的字。实验结果表明，这种方法显著优于各种公共基准测试中的当前最先进方法。

Aug, 2018

该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

Sep, 2013

该研究研究了如何使用基于子词级别表示的模型进行句子对建模，结果表明在对语义和字符串相似性要求较高的语境下，不需要预先训练的单词嵌入也可以实现最先进的结果。该方法在社交媒体数据集上实现了最新成果，在新闻数据集上也取得了有竞争力的结果。

May, 2018

本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

Jul, 2022

该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

Oct, 2022

该研究使用预训练语言模型和交织模型，在处理不同粒度的文本时，提高了模型的泛化能力并在多个 NLP 任务中取得了优秀的性能。

Nov, 2023

本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

Aug, 2018

我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

Jun, 2024