通过导出一种新的 Gibbs 采样的全部条件概率，通过边际化多个随机变量来快速获得后验分布，我们提出了一种可用于大规模 sum-product networks 的贝叶斯学习方法，同时还提出了一种超参数调优方法，通过在大规模 sum-product networks 中平衡先验分布的多样性和优化效率，改进了学习时间复杂度，并在超过 20 个数据集的数值实验中展示出了十倍到一百倍以上的计算速度和优秀的预测性能。

Jun, 2024

本论文介绍了一种名为 DAB（Distance Aware Bottleneck）的新方法，用于通过学习一个代码本，丰富深度神经网络的性质，从而提供确定性不确定性评估，达到更好的异常检测和误分类预测结果。

Jun, 2024

随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为 1/T，而对于非共轭似然情况下的随机 NGVI，证明了它隐式地优化了一个非凸目标。

Jun, 2024

基于期望传播的算法在概率模型的近似推断中进行 Moment 匹配更新，通过单个样本进行蒙特卡洛估计，提供了稳定性和效率的改进。

Jun, 2024

提出了一种通过物理信息引导的高斯过程将机械模型与概率模型相结合的方法，用于确定结构的状态并量化其物理参数和响应的不确定性。通过在偏转上放置高斯过程先验，并使用板块控制方程的线性微分算子推导协方差函数，构建了多输出高斯过程的概率模型。通过从噪声测量中进行马尔可夫链蒙特卡洛采样的贝叶斯推理，推断了挠曲刚度、超参数和板的响应的后验分布。通过两个例子展示了该方法的适用性：简支板受正弦载荷作用和固定板受均布载荷作用。结果说明了该方法可以通过整合不同传感器类型和质量的测量来执行板刚度和物理量的随机推断，适用于结构健康监测和板状结构的不确定性量化。

May, 2024

我们提出了 PoLLMgraph，一种用于大型语言模型的多种同类白盒检测和预测方法，通过分析生成过程中 LLM 的内部状态转换动态来有效地检测虚构现象，实验证明其比现有方法在 TruthfulQA 等常见基准数据集上具有 20% 以上的 AUC-ROC 改进效果，为 LLM 的模型化白盒分析开辟了新的途径。

Apr, 2024

能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

Mar, 2024

通过概率模型的分布值和随机变量，这篇论文扩展了合作博弈和价值算子的方法，解决了可解释性机器学习中解释与当前方法之间的不匹配问题，并通过视觉和语言模型的案例研究提供了细致深入的解释。

Feb, 2024

个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

Jan, 2024

我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

Jan, 2024