- 关于近似信道仿真的样本复杂性的一些注解
基于通道模拟算法,该论文讨论了通过近似方案在固定运行时间内对目标分布进行编码,以实现优化编码性能的实现。
- 使用扩散模型进行受控训练数据生成
这项研究提出了一种利用反馈机制来控制文本到图像生成模型,以生成对监督学习特别有用的训练数据的方法,并且通过引入指导目标分布的反馈机制,演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。
- 基于正规化流的互信息估计
通过引入基于正规化流的估计器,我们提出了一种新的互信息(MI)估计方法,该估计器将原始数据映射到具有已知闭式表达式的目标分布中。我们证明了我们的方法可以为原始数据提供 MI 估计。通过高维数据的实验证明了所提估计器的优势。
- 利用类 ResNet 神经网络架构近似 Langevin Monte Carlo
通过构建一个神经网络,我们从一个简单的参考分布(如标准正态分布)映射到目标分布的样本,从而从目标分布中采样。通过 Langevin Monte Carlo 算法,我们提出了一个神经网络架构, 并在 Wasserstein-2 距离下的光滑、 - 幂等生成网络
我们提出了一种基于训练神经网络为幂等的生成建模新方法,通过将源分布映射到目标分布来生成具有一致潜在空间的输出。
- TIC-TAC:学习和评估协方差的框架
我们研究了无监督异方差协方差估计的问题,其中的目标是学习给定观察值 x 的多元目标分布 N (y, Σy|x)。我们通过推导 TIC:Taylor Induced Covariance 来解决预测协方差是否能真正捕捉到预测均值的随机性的问题 - 多源多目标领域适应中的混合权重估计和模型预测
应用混合数据源的学习模型,解决估算最佳源混合和在计算上有效地解决各目标的经验风险最小化问题,并利用超参数神经网络学习目标模型的方法。
- 受限生成投影用于单类分类与异常检测
我们提出了一个简单的框架,用于一类分类和异常检测。学习一个映射来将未知的训练(正常)数据分布转化为已知的目标分布,保证目标分布足够简单、紧凑且具有信息丰富性,同时最小化转化后的数据分布与目标分布的距离,并保持原始数据的重建误差足够小。与基准 - 主动推断中的高效计算
该论文提出了一种新的规划算法,通过动态规划算法实现了计算效率的大幅提升,并且简化了目标分布的制定,同时在不确定的条件下获得了准确的模型学习和规划。
- 强对数凹分布的朗之万蒙特卡罗方法:随机中点重访
本文针对具有强烈对数凹密度的平滑目标分布的采样问题进行探究,借助随机中点离散化方法,建立可计算的 Wasserstein-2 误差的上界,并基于中点离散化的 Langevin 扩散过程进行分析以明确其基本原理和提供有价值的见解,进而建立起更 - ICML探究与改进 GFlowNet 的训练
本文介绍了基于 GFlowNets 算法的生成模型策略,探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布,提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率,有效解决了一些结构学分配问题。
- 通过 f - 分离最小化来对齐语言模型与偏好
提出了一种新的方法 f-DPG,它允许使用任何 f - 分歧来近似任何目标分布。f-DPG 统一了 RLHF 和 GDC 的两个框架,并且演示了不同的分歧优于近似不同目标。
- 通过重要性重采样进行语言模型数据选择
本文介绍了一种基于重要性重采样的数据选择算法,该算法可以在减少特征空间的基础上从大型无标签数据集中选择与目标分布匹配的样本子集。在训练通用领域(例如维基百科)和特定领域的语言模型时,该算法能够显着提高模型的性能。
- 通过采样预训练扩散模型进行有针对性的图像重建
该研究提出利用预训练扩散模型生成目标类别的数据点的方法,突破先前攻击者需要准确的先验目标分布的限制,以此发动神经网络模型逆推攻击的严重性。
- 非对称松弛分布对齐的域自适应
本文提出了一种非对称松弛分布对齐的方法来解决领域适应中标签分布偏移问题,并找到了合理的理论假设条件来支撑该方法,证明了该方法在合成和真实数据集上的实际效果。
- 重要性加权生成网络
该研究介绍了基于重要性加权算法的深度生成网络,该算法可以在无法直接访问目标分布的情况下,估计与目标分布相对的损失函数,并在理论和实践上表现出色。
- 用摊余式 Stein 变分梯度下降学习绘制样本
我们提出了一种简单的算法,用于训练随机神经网络从给定的目标分布中绘制样本,以进行概率推断。我们的方法基于按照 Stein 变分梯度方向(Liu & Wang,2016)调整神经网络参数,从而最大程度地减少与目标分布的 KL 散度。这种方法适 - 生成对抗学习的逼近与收敛特性
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标 - 非渐进式 Langevin 算法的收敛分析
研究了一种基于欧拉离散化的采样方法来逼近正态化后的概率密度相对于勒贝格度量的目标分布,通过分析欧拉离散化中步长的变化,获得了总变异距离下的收敛界限,并着重介绍了该方法在高维情况下的应用及维度依赖性,扩展了 Dalalyan 2014 的结果 - ICML带特化线性分类器的领域适应的 PAC-Bayesian 定理
本文在 PAC-Bayesian 理论中提供了两个主要方面的贡献,分别是基于新的分布伪距离提供一个更紧的 PAC-Bayesian 领域适应性边缘;另外实现了对多源领域适应性的推广。