- Borch: 深度通用概率编程语言
本文介绍了 Borch,这是一种建立在 PyTorch 之上的可扩展深度通用概率编程语言,旨在将概率建模的原则方法与深度神经网络的可扩展性结合起来。
- ICML生成流网络用于离散概率建模
本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法,该算法通过随机构造数据策略来建模生成过程,并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 - ICLR通过弱间接监督创建训练集
该研究论文提出了 Weak Indirect Supervision (WIS) 这一问题,还设计了一种基于概率建模的 PLRM 方法来解决监督数据输出空间不匹配的问题。PLRM 方法在图像分类、文本分类和工业广告应用中均表现出超过基线模型 - ICCV人体网格恢复的概率建模
本文提出一种基于正常流模型的方法,利用概率建模的思想,从多个视角的 2D 图像集合中重建 3D 人体姿势。该方法在人体姿势重建、模拟及建模上都取得了较好的效果,且可通过提供多种样本取得更为准确的估计。
- CVPR变分关系点补齐网络
本文提出了一种基于变分框架的点云重建方法 (Variational Relational point Completion network - VRCNet),该方法采用了概率建模和关系增强技术实现点云的精细局部重建,同时给出了一个包含 1 - ICLR使用生成元胞自动机学习生成 3D 形状
提出一种名为生成元胞自动机的概率三维生成模型,其能够产生多样化和高质量的形状,利用细胞自动机的局部更新规则有效减少了搜索空间,在稀疏卷积网络的支持下进行渐进生成,通过抽样与训练轮廓数据的匹配学习得到了本地均匀规则,并在概率形状补全和形状生成 - ICCV基于似然的轨迹预测多样性采样
本文提出了一种基于概率建模的多模式数学预测的新方法:Likelihood-Based Diverse Sampling(LDS),通过使用预训练的流模型和优化目标函数以提高轨迹样本的质量和多样性,可以明显提高模型预测的准确性和数据生成的有效 - 高效强化学习的行为先验
本文介绍了如何使用概率建模与信息结构约束相结合的方法来学习行为先验,并将其有效地整合到强化学习框架中,以实现多任务与转移学习。最后通过在一系列仿真连续控制域上的应用来展示该框架的有效性。
- 具有无限可能性的联合对比学习
本文探讨在对比学习中通过新的概率模型进行的有效修改。通过推导一个特殊形式的对比损失函数,即联合对比学习(JCL),JCL 在搜索不变特征时具有更紧的约束条件。我们提出了对这种形式的上界的研究,这种上界允许端到端的训练方式中的解析性解决方案。 - ACL通过蒙特卡罗方法定制预训练语言模型:你有合适的剪刀吗?
本文提出了一种名为 MC-Tailor 的方法,通过在文本生成任务中将概率质量从过估计到低估计的区域进行截断和转移,缓解了在小数据集上进行预训练模型的微调可能导致的过估计和 / 或低估计问题,并在各种文本生成数据集上进行实验证明了其显著优于 - 利用二维切片 VAE 建模 3D 脑 MRI 的分布
该研究提出了一种结合 2D 切片 VAE 和高斯模型,同时捕捉切片之间关系,通过在 2D 模型的潜在空间估计样本均值和协方差的方法来建立 3D MR 脑体积分布模型。该模型生成的高分辨率体积质量优良,能够很好地匹配真实脑部解剖结构。
- 矩阵平滑:噪声标签下使用过渡矩阵的 DNN 正则化
本文提出了一种名为 Matrix Smoothing 的方法,通过使用平滑过的转换矩阵来更新深度神经网络,以控制深度神经网络在概率建模中的过拟合,并在实验中证明了该方法不仅显著提高了概率建模的稳健性,而且甚至获得了更好的转移矩阵估计。
- 概率建模与推理的正则化流
本文综述了正则流动的研究现状,通过概率建模和推断的视角,分析了其表达能力、计算权衡等基础原理,并将其与更一般的概率转换联系起来,总结了其在生成建模、近似推断和监督学习等任务中的应用。
- 受限多标签投影层
本文提出了 Limited Multi-Label(LML)投影层作为端到端学习系统的一个新的原语操作,这个层提供了一个概率建模有 k 个标签的多标签预测的方法,并提供了 LML 层的前向和反向传递的有效方法,我们在 top-k CIFAR - AAAI双变量 Beta-LSTM
本文提出一种利用双变量贝塔分布代替传统 sigmoid 函数的门控结构,可以高效地建模 LSTM 中的门控,并且在句子分类、图像分类、多音乐模型和图像标题生成等任务中有较好表现。
- ACL深度生成语言模型的有效估计
本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题,介绍了多种解决方案和模型扩展,并通过贝叶斯优化系统性比较了这些方法的效果和差异,同时提供了一些实践建议。
- CVPR众包中深度鲁棒主观视觉属性预测
本文提出了一种基于深度学习、概率建模和排除异常值技术的主观可视属性 (SVP) 模型。该模型不仅可以从众包数据中检测到标注异常值,并且能够学习带有极度稀疏注释的数据。特别的,其构造了一个基于标注比较的多图,提出了一个广义概率框架,包括了一个 - 元摊分变分推断与学习
本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难,通过学习可转移潜在表示,在不同的概率模型之间推广,特别地,应用于图像分布上,该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线(分 - NIPS基于物理先验的深度生成模型
应用深度生成模型通过物理学定理来传递极高复杂物理系统中的不确定性。我们构建出一个隐式变分推断公式,并顺利地运用物理学原理作为模型输出的约束条件。这让模型在面对高成本数据采集以及通常小型训练数据集的物理系统建模时具备了一种可扩展的方法来描述随 - 自适应抽样设计
本文提出了一个基于概率建模框架和自适应采样算法,将非监督式生成模型与黑盒预测模型相结合解决输入设计问题。通过实验证明,该方法在最大化目标属性方面表现优越,并且适用于更一般的问题版本。