Nov, 2023

BEND：对 DNA 语言模型在有生物学意义的任务上进行基准测试

PDF
TL;DR基因组序列是指导细胞过程的蓝图，该研究介绍了一种基于人类基因组的 DNA 语言模型评估方法 BEND，该模型能够在某些任务上接近专家方法的性能，但仅能捕获关于长程特征的有限信息。
genome sequencedna language modelsbenddownstream taskshuman genome
发现论文，激发创造
  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023

  • BEACON：全面 RNA 任务与语言模型的基准

    介绍了首个全面的 RNA 基准测试 BEACON，包括 13 个任务，涵盖了结构分析、功能研究和工程应用，通过评估不同 RNA 理解任务的方法性能，研究了传统方法和基于语言模型的先进 RNA 基础模型，以及关键的 RNA 语言模型组件。基于发现的信息，提出了一种简单但强大的基准模型 BEACON-B，能在有限的数据和计算资源下实现出色的性能。

    Jun, 2024

  • 高效可扩展的基因理解语言模型微调

    Lingo 是一种新型的基因组理解模型，通过使用语言模型的上下文线索来重新校准其对基因组序列的语言知识，应用基因组特定的适配器在语言模型上实现了高效可扩展的基因组理解。

    Feb, 2024

  • BiGGen Bench：一种用于精细评估语言模型的基准

    通过 BiGGen Bench 的引入，对 77 个不同任务中的九种语言模型的生成能力进行了全面评估，并借助实例特定的评估标准来模拟人类评估的微妙辨别。该研究公开提供了代码、数据和评估结果。

    Jun, 2024

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 嵌入 - 搜索 - 对齐：使用 Transformer 模型进行 DNA 序列对齐

    DNA-ESA 是一种新颖的编码器模型，通过产生读数和参考片段的表示，将其投影到共享向量空间，其中读段的距离用作对准的替代指标。

    Sep, 2023

  • DNABERT-2：多物种基因组高效基础模型和基准

    此研究提出用基于统计方法的 BPE 算法替换 k-mer 作为基因组语言的标记，并基于此引入了一种高效的基因组基础模型 DNABERT-2 和包含 28 个数据集和 7 项任务的全面的多物种基因组分类数据集 GUE，该模型具有可比较的性能，仅有 21 倍的参数和大约 56 倍的 GPU 时间用于预训练。

    Jun, 2023

  • DNABERT-S：利用基因组数据模型学习基于物种的 DNA 嵌入

    通过引入 DNABERT-S 模型对 DNA 进行嵌入，结合 Manifold Instance Mixup 和 Curriculum Contrastive Learning（C2LR）策略，本研究在基因组学分析中取得了显著的性能提升，尤其在元基因组分组和物种分类方面表现突出。

    Feb, 2024

  • 利用思维链和 LLMs 学习 DNA 结构生物物理学

    聊天 GPT 3.5-turbo 模型通过细调学习 DNA 的结构生物物理学，展示了一个具备集成各种实验数据并产生可验证假设的 AI 科学家工具的潜力。

    Mar, 2024

  • 使用具有字节级精度的编码器 - 解码器基础模型理解 DNA 的自然语言

    本文介绍了基于编码器 - 解码器 Transformer 架构的集成核苷酸字节级编码解码（ENBED）基础模型，以字节级精度分析 DNA 序列，并使用亚二次关注机制实现了高效的序列转换，通过预训练以及在多个下游任务中验证了其在增强子、启动子、剪接位点等基因组序列注释和突变生成等方面相较于现有方法的显著改进。

    Nov, 2023