Oct, 2023

重新思考 DNA 序列的 BERT 类预训练方法

PDF
TL;DR通过对 DNA 序列的新叠词标记方法和 RandomMask 技术进行预训练，提高了生命科学领域的下游任务性能。
pretraining methodsdna sequencesbert-like pretrainingk-mer overlapping tokenizationrandommask
发现论文，激发创造
  • GeneMask：基因序列的快速预训练以实现少样本学习

    提出了一种新的掩码算法 GeneMask，用于基因序列的掩码语言模型训练，该模型在四个基准基因序列分类数据集的五个少样本设置中明显优于当前最先进模型 DNABert 和 LOGO，同时训练时间不到原始模型的十分之一。

    Jul, 2023

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 高效 BERT 预训练的 Token Dropping

    提出了一种基于 token dropping 方法的简单有效的预训练加速技术，可以在不影响下游任务性能的前提下，将 BERT 的预训练成本减少 25%。该方法通过在中间层开始丢弃不重要的 token，使模型更专注于重要的 token，然后让最后一层重新生成完整的序列，这可以通过利用 Masked Language Modeling 的已建成的 loss 函数来实现，计算代价几乎为零。

    Mar, 2022

  • BERT 是一个跨学科的知识学习者吗？预训练模型可转移性的惊人发现

    本文探讨了预训练模型在文本数据上的可迁移性是否能够转化为一般的 token 序列分类应用。我们发现，即使在非文本数据上，也可以快速收敛，表现优异。这些训练好的模型与非文本模型的表示有相似之处。

    Mar, 2021

  • 面具更多，面具更晚：通过分解 [MASK] 令牌实现有效的遮蔽语言模型预训练

    在预训练过程中追加 [MASK] 可以降低较早层的序列长度，从而在减少计算预算的前提下，提高 RoBERTa 模型的预训练效率，同时在 GLUE 基准测试中表现更好。

    Nov, 2022

  • 使用混合池化网络和 Drop Mask 改进 BERT

    本研究提出了一种融合了自注意力和池化网络以编码每个层中的不同上下文特征的 HybridBERT 模型，并提出了一种简单的 DropMask 方法，用于解决预训练和微调之间的不匹配问题。实验表明，HybridBERT 在预训练和迁移学习中均优于 BERT，并且 DropMask 改善了在各种掩码率下 BERT 的下游任务的准确性。

    Jul, 2023

  • 分析序列组成对语言模型预训练的影响

    将相关文档连接起来并使用内部文档因果掩模，可以提高语言模型的性能，并通过 BM25Chunk 方法改善语境学习、知识记忆和上下文利用能力。

    Feb, 2024

  • 如何充分利用分词器进行预训练和领域自适应

    我们的研究表明，分词对于现代 LLMs 至关重要，而且往往被忽视。我们通过在代码生成任务中对 tokenizer 设计进行了详细实验，并提出了分词器超参数选择和在预训练 LLMs 中切换分词器的建议。我们发现，在超过 500 亿个标记的细调过程中，可以对预训练 LLMs 的分词器进行专门优化，从而显著提高生成速度和有效上下文大小。

    Feb, 2024

  • ELECTRA：将文本编码器视为判别器而非生成器的预训练

    提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

    Mar, 2020