- 一种以速率 - 失真为视角的不确定性量化方法
本论文介绍了一种名为 DAB(Distance Aware Bottleneck)的新方法,用于通过学习一个代码本,丰富深度神经网络的性质,从而提供确定性不确定性评估,达到更好的异常检测和误分类预测结果。
- ICML理解随机自然梯度变分推断
随机自然梯度变分推断方法(NGVI)在各种概率模型中被广泛应用,本文对其非渐近收敛速度进行研究,证明了对于共轭似然情况下的非渐近收敛率为 1/T,而对于非共轭似然情况下的随机 NGVI,证明了它隐式地优化了一个非凸目标。
- 无畏的期望传播中的随机性
基于期望传播的算法在概率模型的近似推断中进行 Moment 匹配更新,通过单个样本进行蒙特卡洛估计,提供了稳定性和效率的改进。
- 基于异质数据的平板弯曲随机推断:基于基尔霍夫 - 洛夫理论的物理启发高斯过程
提出了一种通过物理信息引导的高斯过程将机械模型与概率模型相结合的方法,用于确定结构的状态并量化其物理参数和响应的不确定性。通过在偏转上放置高斯过程先验,并使用板块控制方程的线性微分算子推导协方差函数,构建了多输出高斯过程的概率模型。通过从噪 - PoLLMgraph: 大型语言模型中透过状态转换动态解开幻觉
我们提出了 PoLLMgraph,一种用于大型语言模型的多种同类白盒检测和预测方法,通过分析生成过程中 LLM 的内部状态转换动态来有效地检测虚构现象,实验证明其比现有方法在 TruthfulQA 等常见基准数据集上具有 20% 以上的 A - 基于能源的模型在语音和语言处理中的应用
能量模型(EBM)是一种重要的概率模型,也被称为随机场和无向图模型。EBM 是非标准化的,与其他流行的自标准化概率模型(如隐马尔可夫模型(HMMs)、自回归模型、生成对抗网络(GANs)和变分自动编码器(VAEs))截然不同。近年来,由于在 - 解释概率模型的分布值
通过概率模型的分布值和随机变量,这篇论文扩展了合作博弈和价值算子的方法,解决了可解释性机器学习中解释与当前方法之间的不匹配问题,并通过视觉和语言模型的案例研究提供了细致深入的解释。
- 个性化联邦学习的概率模型:一种 PAC-Bayesian 方法
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而 - 基于扩散的姿态优化与多假设生成的三维人体姿态估计
我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
- 基于概率的语音驱动三维面部动作合成:新的基准、方法和应用
从语音信号中为 3D 面部几何动画创建概率模型的研究,通过大规模数据集和合适的评估指标,展示了多样性和准确性,可生成适应未知说话者风格的 3D 面部运动,并改进下游的视听模型表现。
- 变分椭圆过程
我们提出了椭圆过程,这是一类非参数概率模型,它包含了高斯过程和学生 t 过程。通过连续高斯混合分布的表示,椭圆过程具有一系列新的重尾行为,同时保持计算可行性。使用样条标准化流的参数化混合分布来训练变分推断,并提出了适用于大规模问题的稀疏变分 - 增强模板先验的心电图填充中的扩散模型改进
通过利用脉搏信号和患者个体特征,我们提出了一种模板引导的去噪扩散概率模型 (PulseDiff),用于改善心电图 (ECG) 数据插值和预测的准确性,并在实验中证实了其优越性。
- dPASP:面向神经符号学习和推理的全面可微概率答案集编程环境
我们提出了 dPASP,一种新颖的声明性概率逻辑编程框架,用于可微的神经符号推理。该框架允许使用神经谓词、逻辑约束和区间值概率选择来指定离散概率模型,从而支持低级知觉(图像、文本等)、常识推理和(模糊的)统计知识的模型。我们讨论了可以表达非 - 物理散射光谱模型
本文提出了一种关于散射谱模型的方法,基于散射系数的协方差,通过旋转和缩放对物理场进行多尺度分析并得出其低维结构表达,这个通用的方法可以用于数据探索、分类、参数推断、对称检测和成分分离。
- BayesFlow: 具有神经网络的摊余贝叶斯工作流程
介绍了 Python 库 BayesFlow,它通过模拟训练已知的神经网络体系结构实现了摊销数据压缩和推断的分析,训练后的神经网络几乎可以立即执行推断。
- 概率编程的重尾代数
该研究提出了一种系统性的方法来分析随机变量的尾部,建立了一个基于广义 Gamma 分布的代数,该代数能够在各种操作下区分不同尺度的亚高斯函数,可以直接从定义中重现大部分重要的统计分布,并通过利用重尾代数的推理算法,实现了在多个密度建模及变分 - 自回归低秩张量模型切换
本论文提出了一种名为 SALT 模型的概率模型,用于对具有时间变化动态的系统进行的时间序列分析,并在各种模拟和真实预测任务上表现出优越性。
- 使用最优传输学习有向图模型
使用最优传输的方法实现了一个面向许多有向图的参数学习框架,可以灵活地从不完整数据中推断概率有向图模型中的潜在变量。在多个实验中,该方法展示了恢复真实参数和离散表示学习等任务上的优异性能。
- DifFIQA: 使用去噪扩散概率模型进行人脸图像质量评估
本文提出了一种新的人脸图像质量评估方法 DifFIQA,它基于去噪扩散概率模型(DDPM)的前向和后向过程来评估人脸图像的质量。该方法通过量化 DDPM 造成的扰动对相应图像嵌入的影响,并将其用于质量预测。此外还提出了基于回归的质量预测器 - 许多深层网络的训练过程可以被解释为探索同一低维流形
通过信息几何技术,分析深度网络在训练过程中的预测轨迹,揭示了网络训练过程中探索了一个有效低维度流形,在预测空间中,不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上,并研究了该流形的细节,发现不同的网络