Oct, 2023

提升心理健康领域的长篇文本生成技术：基于任务自适应的分词

PDF
TL;DR通过任务自适应分词机制，在心理健康方面增强长文本生成的流程，在多个结果中采样具有可变分词的策略，通过优化基于任务的数据的采样概率，引入了构建专用词汇的策略，并引入了允许将任务特定的令牌集成到预训练模型的分词步骤的词汇合并协议。在对中文和英文的心理问题回答任务进行了广泛实验证明，我们的任务自适应分词方法在生成性能上带来了显著的改进，同时使用的标记量减少了多达 60%。初步实验结果显示，使用我们的分词方法与非常大的语言模型能够取得令人满意的结果。
task-adaptive tokenizationgeneration pipelinemental healthspecialized vocabularygeneration performance
发现论文，激发创造
  • 联合优化标记化和下游模型

    本文提出了一种优化分词器和模型以找到适当分词的新方法，该方法可用于各种 NLP 任务，包括后处理和多种语言翻译。实验结果表明，该方法通过确定适当的分词方法可以提高性能。

    May, 2021

  • 基于词汇表限制的下游任务导向神经分词器优化作为后处理

    本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地捕捉上下文信息。

    Apr, 2023

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 令牌化的重要性！通过挑战其令牌化降低大型语言模型的性能

    基于大型语言模型的令牌划分漏洞的研究，提出了对模型进行攻击的对抗性数据集（ADT），通过挑战语言模型对输入的划分，揭示令牌划分对模型性能的重要影响，并为改善语言模型能力提供优化划分过程和算法的研究方法。

    May, 2024

  • 如何充分利用分词器进行预训练和领域自适应

    我们的研究表明，分词对于现代 LLMs 至关重要，而且往往被忽视。我们通过在代码生成任务中对 tokenizer 设计进行了详细实验，并提出了分词器超参数选择和在预训练 LLMs 中切换分词器的建议。我们发现，在超过 500 亿个标记的细调过程中，可以对预训练 LLMs 的分词器进行专门优化，从而显著提高生成速度和有效上下文大小。

    Feb, 2024

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 生成模型在抽取式 NLP 任务中的分词一致性至关重要

    通常被忽略的词汇划分一致性问题影响了文本生成模型在抽取任务上的表现，提出了解决方法并应用于抽取问答任务，通过实验证明了这个方法可以提升模型的性能和稳定性。

    Dec, 2022

  • 增强自然语言处理的语义分词器

    本研究提出了一种基于语义的新型分词器，使用词干来增强子词的形成，最小化未编码的单词数量，对接 Trainer，实现了比 SentencePiece 分词器更高效的分词，并在 BERT 模型上实验，表明此方法可以将单词数量提高一倍以上，并显着提高 NLP 模型的收敛速度和单词及句子嵌入的质量，成绩排名 Glue 任务之前，比同等规模的模型优越 50 倍以上。

    Apr, 2023

  • 一种无需词汇表的多语言神经标记器，用于端到端任务学习

    本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。

    Apr, 2022