- 关于概率图像建模的场外泛化问题
采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能,并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC),并且在压缩率和模型大小上达到了最佳 - 基于迭代优化的图像超分辨率提升
本研究提出了 SR3 方法,通过重复精细的降噪扩散概率模型,采用随机去噪过程并通过 U-Net 模型进行迭代 refinement,实现图像超分辨率,在面部和自然图像的不同放大因素的超分辨率任务中表现强劲,与 SOTA GAN 方法进行人工 - UNIT-DDPM: 带去噪扩散概率模型的非配对图像翻译
提出一种新颖的无需对抗训练的图像分类方法,该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型,并通过基于 Langevin 动 - 离散分布的可伸缩抽样:梯度抽取错误
使用似然函数关于离散变量的梯度来提议更新,在一些复杂的模型上,我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能,并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现 - ACL语言模型何时知道?关于语言模型在问答任务中的校准问题
本文研究从校准的角度考察自然语言模型 (T5、BART、GPT-2) 的知识储备,找到可靠性评估,提高其置信度与正确概率的相关性的方法。实验数据表明,校准可以让模型的表现得到提高。
- 脉冲神经网络 -- 第二部分:检测时空模式
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对 - 自底向上枚举合成的即时学习
本文提出了一种新的指导程序综合的方法:在程序综合过程中根据遇到的部分解来学习启动模型,同时提出了一种称之为指导自下而上搜索的程序枚举算法来最大限度地利用模型。这种方法在基准测试中取得了非常显著的性能提升,且所生成的程序与最短解相比几乎一致。
- ICLR去噪扩散隐式模型
本文描述了一种更高效的迭代隐式概率模型 —— 去噪扩散隐式模型(DDIMs),通过构建一类非马尔科夫扩散过程来加速采样过程,相对于去噪扩散概率模型(DDPMs)可以使采样速度提升 10 倍至 50 倍。这种模型可以用于图像生成和语义意义化的 - 通过乐观策略搜索和规划实现高效的基于模型的强化学习
本文提出了一种基于模型的加强学习算法(H-UCRL),通过加强其输入空间并直接使用先验不确定性来提高探索,使得优化策略时也能区分先验不确定性和先验确定性。同时,本文针对 H-UCRL 分析了一般的后悔界,并构建了一个在高斯过程模型下证明的可 - ICLR获取线索:解释不确定性估计的方法
提出了一种新方法,Counterfactual Latent Uncertainty Explanations(CLUE),它能够解释可微分概率模型(如贝叶斯神经网络)的不确定性估计,并能够使从业者更好地理解哪些输入模式会导致预测不确定性。
- ICML使用学生化流进行稳健的模型训练与泛化
本文讨论利用鲁棒统计学的见解进一步改进基于流模型的方法,具体地,使用多变量的学生 $t$ 分布, 替代传统标准化流使用的高斯分布。实验证明,使用更胖尾的基础分布可以提高算法的容错性并减少一般化差距,而不损害方法的渐近一致性和去其损失数据似然 - 功率球分布
该篇研究论文探讨了在超球面上定义的概率模型,提出了一种新的 Power Spherical 分布用于解决已有 Von Mises-Fisher 分布中采样速度慢以及数值不稳定的问题,并在数字实验中证明其有效性,进而将其应用于一个基于 MNI - AAAI探索概率关系模型中的未知宇宙
本文旨在提出一种适用于具有未知宇宙的模型的语义模型,以实现解耦与特定约束语言,从而实现提升推理和从而使其具有可处理的推理的优势。
- 基于蒙特卡罗树搜索和价值函数的离散分布近似推断
利用强化学习中的蒙特卡罗树搜索(Monte Carlo Tree Search)算法对概率模型的近似推理进行建模,提出了基于 “最佳先行探索” 的启发式方法来动态分配函数调用,并展示了该方法的效果优于标准的近似推理方法。
- 使用卷积神经混合模型适应推理成本
本文提出了一种基于概率模型的混合卷积神经网络 (CNMMs) 方法,能够显著降低卷积神经网络在推理时所需的计算成本,并在语义分割和图像分类领域得到了广泛的应用。
- 变分 f 散度最小化
该论文探讨了一种用于训练概率隐变量模型的变分方法,其中结合了最近引入的 Spread Divergence 方法,可以应用于使用任何 f-divergence 训练大量的潜变量模型。
- 利用分割 - 瓦磨斯坦距离学习生成模型的渐进保证
本研究探讨了通过最小化切片 - 瓦瑟斯坦距离获得的估计量的渐近性质,证明了其一致性和中心极限定理。
- ICML狄利克雷单纯形嵌套与几何推断
提出了一种名为 Dirichlet Simplex Nest 的概率模型及快速而准确的推断算法,利用其凸几何和低维单纯结构,并利用它与 Voronoi 分割和 Dirichlet 分布的联系,分析文本和金融数据方面的应用。
- AAAI可处理模型下的机器学习公平性
本文介绍了利用可计算的概率模型实现公平性的一种方法,其中 Sum Product Networks(SPNs)可以有效地确定受保护属性与其他训练变量之间的统计关系,并通过排除那些与训练属性无关的变量来训练分类模型,从而减少男性和女性信用申请 - CVPR使用四元数平均和深度多头网络进行旋转的概率回归
该论文提出了一种从深度回归模型中提取旋转概率估计的方法,并将其扩展到 SO (3) 旋转群的目标上,该方法在合成和真实数据中都获得了良好的结果。