- ELBO 之外:大规模变分方法采样评估
蒙特卡洛方法、变分推断及其组合在从难以处理的概率分布中取样方面发挥着重要作用。然而,现有研究缺乏统一的评估框架,依赖不同的性能度量和有限的方法比较,给进展的评估和从业者的决策带来了困难。为了应对这些挑战,我们的工作引入了一个基准,使用标准化 - UDUC: 基于不确定性驱动的学习鲁棒控制方法
通过引入基于不确定性驱动的鲁棒控制损失 (UDUC) 作为概率集合模型的替代目标,并受对比学习的启发,我们分析了 UDUC 损失的鲁棒性,并评估其在具有显著环境不匹配的挑战性实际强化学习基准 (RWRL) 上的性能。
- 招标画像:基于竞标的多人生成对抗神经网络训练
提出一种基于拍卖的多人生成对抗网络训练方法,以减轻 GANs 的模式崩溃问题。通过将生成对抗网络的两人博弈扩展为多人博弈,利用类似拍卖的过程,通过其他参与者提交的出价确定每个模型的价值。
- 视角一致的高斯喷粒体三维编辑
3D 高斯溅射在 3D 编辑方面的革命性变革中的作用是引入了 View-consistent Editing (VcEdit) 框架,该框架无缝地将 3DGS 引入图像编辑过程,确保修订的引导图像在多视图中具有一致性,并有效减轻模型崩溃问题 - ACL通过叙述方式检测语言模型中的模式坍塌
研究发现,较早的大型语言模型在与虚拟作者的对齐中存在模式崩溃现象,导致无法多角度模拟,而通过指导调整和人类反馈强化学习所得的对齐模型保留了模拟任意虚拟作者的能力,对于社会学模拟研究具有重要意义。
- 基于条件归一化流的粗粒化分子表示的主动学习
本研究通过将问题分为精细程度和粗粒程度两个层面来解决 Boltzmann 分布的高效采样问题。利用粗粒程度空间上的条件正则流,实现了两个层面之间的概率联系,并使用主动学习的粗粒程度模拟来探索构型空间,从而在必要时更新流和进行全原子势能评估, - 应对文本到三维生成中的得分蒸馏模式崩溃
通过引入熵项于 3D 分数蒸馏目标函数并采用无分类器指导技巧,本论文提出了一种名为 'Entropic Score Distillation' 的方法,有效解决了分数蒸馏中的 Janus 人工生成物问题。
- 树状图距离:一种使用层次聚类评估生成网络的度量标准
我们提出了一种用于生成建模评估的新颖度量方法,主要关注生成网络。该方法使用树状图来表示真实数据和虚假数据,从而能够计算训练样本和生成样本之间的差异。该指标专注于模式坍塌,针对无法捕捉训练集中所有模式的生成器。为了评估所提出的方法,在真实数据 - 通过 Gromov-Monge 嵌入的单调生成建模
通过使用 Gromov-Monge 嵌入(GME)的深度生成模型,我们提出一种解决生成对抗网络(GANs)面临的起始条件敏感性和模式崩溃等挑战的方法。我们在低维的潜在空间中通过 GME 识别数据的底层测度的低维结构,并在保持其几何性的同时将 - 弥合差距:解决分类器自由引导的扩散模型训练中的不一致性
为了解决传统训练方法与生成模型的条件抽样行为之间的差异,本文介绍了一种更新的损失函数,通过改进训练目标与抽样行为的一致性来提高样本质量,并对不同的引导比例进行了实验验证。
- Sliceformer:在判别任务中将多头注意力变得简单如排序
我们提出了 Sliceformer 作为 Transformer 的替代模型,通过简单的切片排列操作实现了高效的计算和普适的效果,同时可以有效抑制数据表示中的模式坍缩风险。
- 一种核得分的偏差 - 方差 - 协方差分解方法用于生成模型
生成模型的不确定性估计及其提出的内核评分和相关熵的偏差 - 方差 - 协方差分解是一项有前景的研究工作。作者利用生成样本提出了无偏且一致的估计方法,证明了方差和预测内核熵可作为图像、音频和语言生成的不确定性度量。这种不确定性估计方法在问答数 - 用于解决基于 GAN 的 X 射线图像中模式崩溃问题的自适应输入图像归一化
通过研究不同类型的模式崩溃问题和它们对合成 X 射线图像的多样性的影响,本文探讨了将自适应输入图像归一化与深度卷积 GAN 和辅助分类 GAN 相结合以减轻模式崩溃问题的好处。通过将合成图像用于数据增强和训练视觉转换模型,使用准确度、召回率 - 互信息最大化的量子生成对抗网络及其在金融领域的应用
通过梯度下降和神经网络,本研究提出了一种名为 InfoQGAN 的新方法,将相互信息神经估计器(MINE)和量子生成对抗网络结合起来,解决了模式坍缩问题,并应用于金融场景中的动态资产配置,展示了 InfoQGAN 在实际应用中的潜在实用性。
- 基于生成对抗网络增强数据的偏差量化的系统研究
研究通过对一系列先进的度量方法进行评估,解决生成对抗网络(GANs)的数据增强技术中出现的模式崩溃和偏见加剧问题。
- ICCV通过语义变化提高零样本 GAN 适应性中的多样性
通过在 CLIP 空间中找到目标文本的语义变化,设计一种新颖的方向矩损失函数,以匹配图像和文本方向分布的一、二阶矩,并引入弹性权重合并和关系一致性损失,确保了零样本 GAN 适应中样本多样性和质量的最新最有效方法。
- 概率轨迹优化中的路径签名
近期计算硬件的进展使得并行轨迹优化成为可能,为解决模式坍塌和寻找全局解提供了一种策略,该研究基于路径标记和 Hilbert 空间表示的轨迹,连接并行变分推断与多样性促进核技术。通过实验证明该策略在多个问题中均可获得比竞争方法更低的平均成本。
- 基于随机决策规则的生成对抗网络的新范式
本文提出了一种新的基于随机化决策规则的 GAN 公式,其中鉴别者收敛于一个固定点,而生成器则收敛于 Nash 均衡下的分布,通过随机梯度 Markov 链蒙特卡罗算法以及相应的模拟方法,得到了一种有效的支撑算法。
- KDE 自训练:基于核距离的控制型文本生成的有效方法
本文提出了一种名为 KEST 的自训练框架,利用基于核的损失函数代替标准交叉熵来处理生成模型中的模式崩溃和多样性缺失等问题,进而提高半监督可控语言生成任务的表现。
- OT-Net:一种可重复使用的神经最优输运求解器
提出了一种使用神经网络进行最优传输计算的算法 OT-Net,可以表示不连续映射,在图像生成、颜色转移、域适应等方面取得了良好的应用效果。