Jul, 2023

GeneMask：基因序列的快速预训练以实现少样本学习

PDF
TL;DR提出了一种新的掩码算法 GeneMask，用于基因序列的掩码语言模型训练，该模型在四个基准基因序列分类数据集的五个少样本设置中明显优于当前最先进模型 DNABert 和 LOGO，同时训练时间不到原始模型的十分之一。
language modelgene sequencesmasked language modelinggenemaskgenome
发现论文，激发创造
  • FGBERT：用于宏基因组学的功能驱动预训练基因语言模型

    通过蛋白质基因表示为基础，引入了一种上下文感知和结构相关的分词器，即 Masked Gene Modeling（MGM）用于基因组级预训练，Triple Enhanced Metagenomic Contrastive Learning（TEM-CL）用于基因级预训练，提出了一种新颖的 metagenomic language model（NAME），基于 1 亿个元基因组序列进行了预训练，并在八个数据集上展示了其卓越性能。

    Feb, 2024

  • 重新思考 DNA 序列的 BERT 类预训练方法

    通过对 DNA 序列的新叠词标记方法和 RandomMask 技术进行预训练，提高了生命科学领域的下游任务性能。

    Oct, 2023

  • 基于 PMI 的相关跨度掩码

    通过对点对互信息的概念提出了 PMI-Masking，该结构代替了以往不合理的随机掩码方法，实验结果表明在预训练的效率和下游任务性能上有所提高

    Oct, 2020

  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023

  • 面具更多，面具更晚：通过分解 [MASK] 令牌实现有效的遮蔽语言模型预训练

    在预训练过程中追加 [MASK] 可以降低较早层的序列长度，从而在减少计算预算的前提下，提高 RoBERTa 模型的预训练效率，同时在 GLUE 基准测试中表现更好。

    Nov, 2022

  • MASS: 面向语言生成的遮掩序列到序列预训练

    该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模型和其他预训练方法更加出色的表现。

    May, 2019

  • InforMask: 语言模型预训练的无监督信息遮蔽

    本文提出了 InforMask 方法，使用点互信息（PMI）来选择最具信息量的 tokens 进行蒙版，并进行两种优化以提高效率，该方法在 LAMA 和 SQuAD v1、v2 基准测试上明显优于随机蒙版和以前提出的蒙版策略。

    Oct, 2022

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 非参数遮蔽语言建模

    本论文介绍了一种基于非参数分布的掩码语言模型，其以参考语料库中的所有短语作为分布依据，通过对比学习和批次近似方法进行高效训练，实现了对罕见词或短语的有效预测和处理，与其他参数化模型比较表明，该模型在 9 项封闭任务和 7 项开放任务中的表现表明了优越性。

    Dec, 2022

  • 基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

    在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

    Feb, 2024