ICLRSep, 2023

嵌入 - 搜索 - 对齐：使用 Transformer 模型进行 DNA 序列对齐

PDF
TL;DRDNA-ESA 是一种新颖的编码器模型，通过产生读数和参考片段的表示，将其投影到共享向量空间，其中读段的距离用作对准的替代指标。
dna sequence alignmentlarge language modelstransformer architectureembed-search-align taskdna-esa
发现论文，激发创造
  • DNA 序列的无监督表示学习

    本文利用一种序列到序列自编码器模型以无监督的方式学习长度可变的 DNA 序列的固定维度的潜在表示，并在监督学习的拼接位点分类任务中进行了定量和定性评估。实验表明，此类表示法可用作通常相关的任务中的特征或先验，并且采用的模型归因技术获得的序列特征对分类精度有显著影响。

    Jun, 2019

  • 使用具有字节级精度的编码器 - 解码器基础模型理解 DNA 的自然语言

    本文介绍了基于编码器 - 解码器 Transformer 架构的集成核苷酸字节级编码解码（ENBED）基础模型，以字节级精度分析 DNA 序列，并使用亚二次关注机制实现了高效的序列转换，通过预训练以及在多个下游任务中验证了其在增强子、启动子、剪接位点等基因组序列注释和突变生成等方面相较于现有方法的显著改进。

    Nov, 2023

  • HyenaDNA：基于单核苷酸的远距离基因组序列建模

    HyenaDNA 是一个在人类参考基因组上进行预训练的基因组基础模型，具有长达 100 万个单核苷酸的上下文长度和单核苷酸层面的全局上下文，以及可用于简单调整以适应新任务而无需更新预训练模型权重的上下文学习能力，并在核苷酸转换器和基因组基准测试中达到了最先进的水平。

    Jun, 2023

  • DNABERT-S：利用基因组数据模型学习基于物种的 DNA 嵌入

    通过引入 DNABERT-S 模型对 DNA 进行嵌入，结合 Manifold Instance Mixup 和 Curriculum Contrastive Learning（C2LR）策略，本研究在基因组学分析中取得了显著的性能提升，尤其在元基因组分组和物种分类方面表现突出。

    Feb, 2024

  • BEND：对 DNA 语言模型在有生物学意义的任务上进行基准测试

    基因组序列是指导细胞过程的蓝图，该研究介绍了一种基于人类基因组的 DNA 语言模型评估方法 BEND，该模型能够在某些任务上接近专家方法的性能，但仅能捕获关于长程特征的有限信息。

    Nov, 2023

  • 利用结构信息学习蛋白质序列嵌入

    本研究提出了一种基于表征学习的框架，将蛋白质序列映射到表示蛋白质结构信息的序列向量中，并通过双向 LSTM 模型和全局结构相似度以及单个蛋白质残基接触映射的反馈机制进行训练，实现了蛋白质序列在预测结构相似性方面的多任务学习，而且该方法在跨膜域预测方面也取得了优异的表现。

    Feb, 2019

  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • Tranception: 利用自回归转换器和推断时检索进行蛋白质适应性预测

    介绍了使用 Tranception 模型和 ProteinGym 数据集实现蛋白质序列的健康预测的方法。

    May, 2022

  • 转型与超越：用于基因组的大型语言模型

    基于转换器架构的大型语言模型（LLMs）在基因组学中扮演了转变性的角色。本文旨在成为对基因组数据感兴趣的计算生物学家和计算机科学家的指南，同时也希望为生物学家们介绍和讨论我们将来如何分析基因组数据的基本转变。

    Nov, 2023