May, 2023

使用一系列有问题且具有挑战性的生物医学句子比较分词器输出的变化

PDF
TL;DR本研究通过比较不同分词器应用于生物医学句子时的输出，探究了各分词器性能的差异，结果表明对于包含专业术语和固定搭配的句子，规则匹配和神经网络分词器实现了类似的表现，但空格分词器的效果与其他分词器相比有所不同。
发现论文，激发创造
  • 生物医学语言模型对次优分词具有鲁棒性

    本研究探索了使用更准确的生物医学分词器训练生物医学语言模型是否可以提高实体表示质量，结果表明该方法并不能提高语言模型的表现。

    Jun, 2023

  • 通过另类空格处理提高 Token 切分效果

    本研究以 BPE 和 Unigram 算法为基础，通过将空格始终视为单独的标记，提出了一种新的分词方法，以改善复杂词汇的处理效果，并在下游 NLP 任务中取得了良好的表现。

    Apr, 2022

  • 优于空格：无自定义分词器语言的信息检索

    本研究提出对于不同语言的信息检索及词法匹配的算法 (BM25 等) 使用 WordPiece 分词器的方法，通过对来自不同语言的数据进行实验，证明该方法能够在多数情况下优于白空格分词器，并能更进一步提高自定义分词器的效果。

    Oct, 2022

  • 将临床知识融入语言模型的标记器

    本研究介绍了一种新的知识增强的令牌化机制 K-Tokeniser，用于临床文本处理。通过使用语义类型来生成全局表示，并利用句子级上下文选择最佳的全局令牌表示，K-Tokeniser 在临床文本分析任务中展示了一致的改进，特别是在自动临床编码任务中取得了 13% 的微平均 $F_1$ 分数提升，同时对于语言模型的训练也有显著加速作用。

    Jun, 2024

  • 分词不仅仅是压缩

    通过广泛实验，我们发现较少的令牌并不会导致更好的下游性能，从而对有效的标记化原因的理解产生了怀疑。我们评估了标记化的三个阶段的设计决策，特别强调了预标记化的重要性和使用字节对编码 (BPE) 进行初始化词汇构建的好处。

    Feb, 2024

  • 信息抽取研究：注意分词！

    研究发现通过使用字符作为深度学习模型的输入，可以在生物医学文本信息提取方面实现最先进的性能且无需进行传统的分词处理。

    Mar, 2023

  • 分词对神经机器翻译的影响程度如何？

    对五种分词器在十种语言对上的实验表明，Tokenization 对神经机器翻译的最终翻译质量产生重大影响，不同语种需要选择最佳的分词器来提高翻译质量。

    Dec, 2018

  • 针对生物医学文本自动处理的有效句子简化

    本文提出了一个名为 bioSimplify 的文本简化方法，试图减少医学文献中的句子复杂度，从而提高句法分析器的性能。经测试，在使用简化后的句子进行分析时，Charniak-McClosky 句法分析器的性能提高了 2.90%，Link Grammar 句法分析器的性能提高了 4.23%。

    Jan, 2010

  • 法语医学口罩语言模型中的 tokenization 有多重要？

    深入探讨法语生物医学领域中子词标记化的复杂性，并确定可以进行进一步改进的领域，同时分析了包括 BPE 和 SentencePiece 在内的经典标记化算法，并引入了一种将富含形态素的词分割与现有标记化方法整合的原始标记化策略。

    Feb, 2024

  • 生成模型在抽取式 NLP 任务中的分词一致性至关重要

    通常被忽略的词汇划分一致性问题影响了文本生成模型在抽取任务上的表现，提出了解决方法并应用于抽取问答任务，通过实验证明了这个方法可以提升模型的性能和稳定性。

    Dec, 2022