- 恢复生成模型的预 Fine-Tuning 权重
通过使用少量低秩(LoRA)微调模型,我们提出了一种名为 Spectral DeTuning 的方法,能够恢复出预微调模型的权重,利用这一新的漏洞攻击大规模模型。
- 粒子去噪扩散采样器
利用新颖的评分匹配损失,我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器(PDDS),它能够在温和假设下提供渐近一致的估计,我们在多模态和高维取样任务上演示了 PDDS。
- AlphaFold 与流匹配相遇:生成蛋白质合集
生物蛋白质的功能常依赖于动态结构集合,本研究通过开发一种基于流动的生成建模方法来学习和采样蛋白质的构象空间,利用 AlphaFold 和 ESMFold 等高精度单状态预测器进行改进,获得了名为 AlphaFlow 和 ESMFlow 的蛋 - 潜在计划转换器:以潜在变量推理为基础的规划
在长期回报任务中,规划变得必要。我们研究了利用离线强化学习数据重新规划的生成模型。具体来说,我们确定了缺少逐步奖励时的时间一致性作为一个关键的技术挑战。我们引入了潜在规划变压器(LPT),这是一种新颖的模型,利用潜在空间连接基于 Trans - 扩散世界模型
我们介绍了 Diffusion World Model (DWM),它是一种条件扩散模型,能够同时预测多步未来状态和奖励。与传统的一步动力学模型相反,DWM 能够在单次前向传递中提供长期预测,消除了对递归查询的需求。我们将 DWM 集成到基 - 基于文本的 3D 人体动作生成的多轨道时间线控制
使用时间轴控制的文本驱动动作合成方法,通过多个文本输入来指定时间轴内的多个动作以及精确定义各个动作的持续时间,并使用新的测试时间去噪方法生成真实的动作序列。
- HexaGen3D:稳定扩散仅一步之遥,实现快速和多样化的文字到 3D 生成
使用预训练的 2D 扩散模型,HexaGen3D 有效地从文本提示中生成高质量的 3D 资产,并展示出对新对象或组合的强大推广能力。
- 得分高不代表生成模型好
通过样本复杂性论证,我们在特定设置下展示了得分函数训练良好的情况下,SGM 只能输出训练数据点的高斯模糊样本,从而模拟核密度估计的效果,这与最近的研究结果一致,揭示了 SGM 展示出记忆效应并且无法生成的弱点。
- 用于受限生成建模的反映式薛定谔桥
引入反射谢尔宾格算法:一种在多样有界域中生成数据的熵正则化的最优传递方法,通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合,扩展基于散度的封闭域似然训练,并探索与熵正则化最优传送的自然联系,用于近似线性收敛的研究 —— 这对实际训练 - ICLR非去噪前向时间扩散
该论文通过扩散过程进行生成模型,通过选择适当的扩散桥混合,构造了以所需数据分布为目标的扩散过程,并且通过新的训练目标,可以通过神经网络进行逼近。
- 电波之梦:使用扩散模型生成心脏激发波
通过去噪扩散概率模型,我们在心脏组织中生成了具有巨大潜力的电波模式,该模型在心律失常研究和诊断领域有诸多应用。
- ZeroShape: 基于回归的零样形重建
我们研究单图零样版三维形状重建问题,通过对生成模型和回归方法的比较,设计了一种强大的回归模型 ZeroShape,并且通过大规模真实世界评估数据集的实验表明 ZeroShape 在性能、计算效率和数据效率上均优于现有方法。
- 通过结构扩散导航有结构的假设空间:生成反事实对照
通过扩散模型生成结构化数据的反事实解释,以黑盒神经网络模型为基础,并且达到与现有最先进技术相比较高的可信度、接近性和多样性。
- 具有结构噪声空间生成的类条件时间序列
结构噪声空间生成对抗网络(SNS-GAN)是一种针对类别条件生成在图像和时间序列数据中的生成建模领域的新方法,它解决了有效地将类别标签集成到生成模型中而不需要对网络进行结构修改的挑战,该方法将类别条件嵌入到生成器的噪声空间中,简化了训练过程 - 基于评分的表面冷扩散模型用于医学图像分割
本研究提出了一种基于条件得分的生成建模框架,用于医学图像分割,该框架依赖于分割掩模的参数化表面表示。实验结果表明,与其他常用的图像分割模型相比,我们的模型在分割准确度方面表现出色,并且由于其生成性质,还能够估计分割的不确定性以进行进一步的分 - VaLID:用于新视角合成的可变长度输入扩散
多视角交叉模块提出了将可变长度的输入数据映射到固定大小的输出数据,进一步提高训练效率的两阶段训练策略。对多个数据集进行定性和定量评估,证明了所提方法相对于以前的方法的有效性。
- RL 梦想:基于得分传递的三维生成的策略梯度优化
3D 生成在过去十年中迅速发展,得益于生成建模领域的进步。得分蒸馏采样(SDS)渲染大大提高了 3D 资源生成的水平。此外,最近的溯源扩散策略优化(DDPO)工作表明扩散过程与策略梯度方法兼容,并已通过美学评分函数改进了 2D 扩散模型。我 - PatchFusion:一种面向高分辨率单目度量深度估计的端到端基于瓦片的框架
单幅图像深度估计是计算机视觉和生成建模中的基础任务。本文提出了一种名为 PatchFusion 的新颖的基于块状的框架,通过三个关键组件改善了目前最先进的技术,并在多个数据集上展示了其高分辨率深度图的能力。
- 非交叉扩散的语义一致性
该研究纸介绍了一种创新的生成建模方法 —— 非交叉扩散,用于学习常微分方程模型。该方法通过引入升维输入的策略,有效地将两个分布采样点连接起来,以确保增强语义一致性。实证结果表明,非交叉扩散方法能够显著减少语义不一致,提升扩散模型的整体性能。
- 基于变分自编码器的前体微小 RNA 的描述生成
基于变分自动编码器的生成建模方法应用于微小 RNA 的分类,取得了较高的重建和分类效果,并生成了准确的微小 RNA 描述。