Jun, 2023

HyenaDNA：基于单核苷酸的远距离基因组序列建模

PDF
TL;DRHyenaDNA 是一个在人类参考基因组上进行预训练的基因组基础模型，具有长达 100 万个单核苷酸的上下文长度和单核苷酸层面的全局上下文，以及可用于简单调整以适应新任务而无需更新预训练模型权重的上下文学习能力，并在核苷酸转换器和基因组基准测试中达到了最先进的水平。
genomicsdna sequencinghyenadnapretrainingstate-of-the-art
发现论文，激发创造
  • 鬣狗等级制度：朝着更大的卷积语言模型

    本文介绍了 Hyena，一种亚二次的 attention 替代方法，它通过交错的启发式参数化长卷积和数据控制开关的方式进行构建，能够有效地解决 Transformers 中 quadratic cost 的问题，并且在大规模自然语言处理任务中实现了 Transformer 模型一致的精度，同时减少了 20% 的训练计算资源。

    Feb, 2023

  • scHyena: 全长单细胞 RNA 测序大脑分析的基础模型

    通过介绍 scHyena 模型，本研究提出了一种解决脱落事件和基因表达信息利用有限的测量噪声带来的挑战，以提高脑部 scRNA-seq 分析准确性的新方法，展示了该模型在细胞类型分类和 scRNA-seq 填补方面相比其他基准方法的卓越性能。

    Oct, 2023

  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023

  • 嵌入 - 搜索 - 对齐：使用 Transformer 模型进行 DNA 序列对齐

    DNA-ESA 是一种新颖的编码器模型，通过产生读数和参考片段的表示，将其投影到共享向量空间，其中读段的距离用作对准的替代指标。

    Sep, 2023

  • VQDNA: 多物种基因组序列建模的向量量化能力释放

    引入了 VQDNA，一个从基因词汇学习的角度改进基因标记化的通用框架；通过利用可学习的词汇的向量量化码书，VQDNA 可以自适应地将基因标记化为具有模式感知的嵌入结果；通过在层次结构中设计不同尺度的码书，提出了层次残差量化方法（HRQ）。在 32 个基因数据集上的广泛实验表明，与现有的基因语言模型相比，VQDNA 具有卓越的性能和有利的参数效率。值得注意的是，对 SARS-CoV-2 突变的经验分析揭示了学习 HRQ 词汇的细粒度模式感知和生物学意义，突显了其在基因组学中更广泛应用的潜力。

    May, 2024

  • 鬣狗如何处理人类语音？使用 ConfHyena 进行语音识别和翻译

    借鉴 Hyena 模型进行改进，我们提出了 ConfHyena 模型，以减少长序列语音处理的计算时间并保持较高的质量表现。在英语的自动语音识别和从英语到 8 种目标语言的翻译实验中，我们的 ConfHyena 模型在训练时间上节约了 27％，同时在质量下降方面仅为 1％，大多数情况下这种下降不具备统计学意义。

    Feb, 2024

  • 基因组解释器：一种具有 1D 平移窗口变换器的层次基因组深度神经网络

    本研究利用建立新的架构模型 Genomic Interpreter 对基因组测序数据进行预测，通过整合 1D-Swin 对数据的层级依赖性进行建模，成功识别染色质可及性和基因表达的预测，揭示了基因调控的潜在语法。

    Jun, 2023

  • 豪笑鬣狗酿酒厂：从卷积中提取紧凑的重现

    通过提取低维线性状态空间模型以及改进卷积层的结构，本文实现了每个标记的 O (1) 计算和内存开销，从而降低内存占用并提高生成过程的吞吐量，而无需牺牲质量。

    Oct, 2023

  • DNA 序列的无监督表示学习

    本文利用一种序列到序列自编码器模型以无监督的方式学习长度可变的 DNA 序列的固定维度的潜在表示，并在监督学习的拼接位点分类任务中进行了定量和定性评估。实验表明，此类表示法可用作通常相关的任务中的特征或先验，并且采用的模型归因技术获得的序列特征对分类精度有显著影响。

    Jun, 2019

  • BEND：对 DNA 语言模型在有生物学意义的任务上进行基准测试

    基因组序列是指导细胞过程的蓝图，该研究介绍了一种基于人类基因组的 DNA 语言模型评估方法 BEND，该模型能够在某些任务上接近专家方法的性能，但仅能捕获关于长程特征的有限信息。

    Nov, 2023