研究多个编码器分别以某种方式压缩其观察结果的分布式信息瓶颈问题，建立单字母表征信息率区间的模型，并针对离散无记忆源和无记忆向量高斯源，提出 Blahut-Arimoto 类型的迭代算法，通过迭代一组自洽方程来计算最优的信息率与复杂度之间的权衡。

Sep, 2017

开发智能传感器网络推理问题的高效解决方案对于下一代位置、跟踪和地图服务至关重要。本文开发了一种适用于连续变量、难以处理的后验概率和大规模实时数据的可扩展分布式概率推理算法。

Sep, 2023

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

本文提出了一个基于可变自编码器的多源学习框架，其中每个自编码器都是在不同的信息源的条件下进行的。我们在小数据集上展示了其学习效果，并在结构化输出预测方面进行了评估，同时证明了在多源情况下冲突检测和冗余可以增强推断的鲁棒性。

Nov, 2018

设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Feb, 2024

本文提出了一种新颖的表示学习框架，用于密集检索模型，框架采用多元分布作为表示，使用负多元 KL 散度计算相似性，在现有的最近邻算法中无缝集成，实验结果表明，较竞争的密集检索模型有显著的改进。

Apr, 2023

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

本文提出了一种无监督的生成性聚类框架，将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物，并导出了一个代价函数的界限，并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射，并通过蒙特卡罗采样逼近边界，并用随机梯度下降进行优化。提供了真实数据集的数值结果，证明了我们方法的有效性。

May, 2019

本文提出了一种改进的联合学习框架，包括强鲁棒性嵌入判别器和局部结构约束，来改善 VaDE 聚类方法的两个问题。实验结果表明，我们的方法在各种基准数据集上表现优于现有模型，并且对抗输入具有极强的稳健性，可实际应用于实践。

Dec, 2020

本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

Nov, 2017