Feb, 2024

DiscDiff：用于 DNA 序列生成的潜在扩散模型

PDF
TL;DR该论文引入了一种用于 DNA 序列生成的新型框架，包括 DiscDiff，一种专门用于生成离散 DNA 序列的潜在扩散模型（LDM），和 Absorb-Escape，一种后期训练算法，用于优化这些序列。Absorb-Escape 通过纠正潜在和输入空间之间转换过程中固有的 ' 舍入误差 ' 来增强生成序列的真实性。我们的方法不仅在 DNA 序列生成方面树立了新的标准，而且在生成短 DNA 序列和长 DNA 序列方面表现出了优越性能。此外，我们还推出了 EPD-GenDNA，这是第一个综合性的多物种 DNA 生成数据集，包含来自 15 种物种的 160,000 个独特序列。我们希望这项研究能推动 DNA 的生成建模，对基因治疗和蛋白质生产可能产生影响。
dna sequence generationdiscdiffabsorb-escapelatent diffusion modelepd-gendna
发现论文，激发创造
  • DNA 序列生成的潜在扩散模型

    通过深度生成模型，特别是深度扩散模型，来合成 DNA 序列在合成生物学领域开辟了新的前景。我们提出了一种新颖的潜在扩散模型 (DiscDiff)，通过将离散 DNA 序列嵌入连续的潜在空间，使用自编码器来利用连续扩散模型强大的生成能力生成离散数据。此外，我们引入了一种新的度量标准 Frechet Reconstruction Distance (FReD)，用于衡量 DNA 序列生成结果的样本质量。我们的 DiscDiff 模型能够生成与真实 DNA 序列在 Motif 分布、潜在嵌入分布 (FReD) 和染色质剖面方面紧密相符的合成 DNA 序列。此外，我们还贡献了一个包含 15 个物种的 15 万个唯一启动子 - 基因序列的全面跨物种数据集，为未来基因组学中的生成建模工作提供丰富的资源。我们将在发表后公开我们的代码。

    Oct, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • TaxDiff: 蛋白质序列生成的分类指导扩散模型

    使用生物物种信息和扩散模型的生成能力相结合，提出了一种名为 TaxDiff 的生物蛋白序列生成模型，实现了精确控制生成结构稳定蛋白的能力，并在多个蛋白序列生成基准测试中表现出更好的性能。

    Feb, 2024

  • 利用语言模型嵌入进行蛋白质序列生成的扩散

    利用连续扩散和蛋白质语言模型 ESM-2 推导的嵌入，在无条件生成方面超越了当前的解决方案，进一步评估了生成的蛋白质序列的质量、多样性、分布相似性和生物相关性，并提供了一个可扩展且高质量的蛋白质序列生成框架，从而推动了蛋白质设计领域的发展。

    Mar, 2024

  • 蛋白质结构生成的潜扩散模型

    本研究提出了一种潜在的扩散模型，该模型可以在凝聚的潜在空间中灵活捕捉天然蛋白质结构的分布，从而通过等变蛋白自编码器生成高可设计性和高效率的新型蛋白质骨架结构。

    May, 2023

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 基于几何潜在扩散模型的三维分子生成

    本研究提出了一种基于几何潜变扩散模型（GeoLDM）的新方法，通过在潜空间中运行扩散模型来生成分子的三维几何结构。该方法对生成大分子的有效百分比有 7％的提升。

    May, 2023

  • 带有引导离散扩散的蛋白质设计

    本文提出了一种基于 NOS 和 LaMBO-2 的蛋白质设计方法，使用离散扩散模型、编辑限制和多目标贝叶斯优化实现了高表达率和高亲和力抗体的优化设计。

    May, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022