ICMLMay, 2024

VQDNA: 多物种基因组序列建模的向量量化能力释放

PDF
TL;DR引入了 VQDNA，一个从基因词汇学习的角度改进基因标记化的通用框架；通过利用可学习的词汇的向量量化码书，VQDNA 可以自适应地将基因标记化为具有模式感知的嵌入结果；通过在层次结构中设计不同尺度的码书，提出了层次残差量化方法（HRQ）。在 32 个基因数据集上的广泛实验表明，与现有的基因语言模型相比，VQDNA 具有卓越的性能和有利的参数效率。值得注意的是，对 SARS-CoV-2 突变的经验分析揭示了学习 HRQ 词汇的细粒度模式感知和生物学意义，突显了其在基因组学中更广泛应用的潜力。
pre-trained genome language modelsvqdnagenome tokenizationvector-quantized codebookhierarchical residual quantization
发现论文，激发创造
  • HyenaDNA：基于单核苷酸的远距离基因组序列建模

    HyenaDNA 是一个在人类参考基因组上进行预训练的基因组基础模型，具有长达 100 万个单核苷酸的上下文长度和单核苷酸层面的全局上下文，以及可用于简单调整以适应新任务而无需更新预训练模型权重的上下文学习能力，并在核苷酸转换器和基因组基准测试中达到了最先进的水平。

    Jun, 2023

  • LG-VQ：语言导向的代码本学习

    本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ)，旨在学习与文本对齐的码书，以提高多模态下游任务的性能。实验结果表明，我们的方法在重构和各种多模态下游任务上取得了优越的性能。

    May, 2024

  • 基因组学中的经典到量子序列编码

    本文介绍了在生物信息学中使用多种数学领域的算法进行古典到量子数据编码的新颖方法，其中包括无损压缩、小波编码和信息熵技术，并提出了基于量子玻尔兹曼机的 DNA 序列编码测试方法，为量子计算在生物信息学中的发展提供了新的思路和应用。

    Apr, 2023

  • 高效可扩展的基因理解语言模型微调

    Lingo 是一种新型的基因组理解模型，通过使用语言模型的上下文线索来重新校准其对基因组序列的语言知识，应用基因组特定的适配器在语言模型上实现了高效可扩展的基因组理解。

    Feb, 2024

  • DNA 序列的无监督表示学习

    本文利用一种序列到序列自编码器模型以无监督的方式学习长度可变的 DNA 序列的固定维度的潜在表示，并在监督学习的拼接位点分类任务中进行了定量和定性评估。实验表明，此类表示法可用作通常相关的任务中的特征或先验，并且采用的模型归因技术获得的序列特征对分类精度有显著影响。

    Jun, 2019

  • HyperVQ: 基于 MLR 的双曲空间向量量化

    利用超 bolic 空间进行向量量化 (HyperVQ)，通过对比 VQVAE 中的欧几里得 K-Means 聚类，形成了超 bolic 多项式逻辑回归问题的 VQ 操作。通过广泛的实验，我们证明 hyperVQ 在重建和生成任务中的性能相当，而在判别任务中胜过 VQ，并学习高度独立的潜在空间。

    Mar, 2024

  • LongVQ: 基于结构化记忆的长序列建模与向量量化

    长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

    Apr, 2024

  • 利用量化向量变分自动编码器改进转录组特征进行癌症亚型划分

    该论文使用 VQ-VAE 模型解决了癌症亚型的聚类问题，并在多个数据集上进行广泛实验和医学分析，并证明该方法能够显著和稳健地改善对癌症分型系统的预测。

    Jul, 2022

  • DNA-TEQ：用于 DNN 推导的自适应指数张量量化

    本篇论文提出了 DNA-TEQ，一种指数量化深度神经网络张量的方法，其通过在指数域中执行点积运算，在不需要重新训练神经网络的情况下，将平均量化比基线低 40％，同时具有可忽略的精度损失和节约 66％的能量消耗的优势。

    Jun, 2023

  • 人类基因核苷酸序列的生成式语言模型

    开发类似 GPT-3 的自回归生成语言模型用于 DNA 序列，研究了 RNNs 和 N-grams 在处理人类基因中的核苷酸序列时的表现以及选择具有最小词汇量的语言对数据需求的影响。

    Jul, 2023