本文介绍了利用信息论框架扩展到多跳网络研究的方法，构建了一种新的确定性模型，通过此模型，对多层网络进行了最大吞吐量的线性优化问题的探讨，并研究了反馈（feedback）在多层网络中的作用。结果表明，适当反馈可以提高传输效率，为协同合作提供基本指导。

May, 2015

本文主要讨论信息瓶颈问题，包括如何解决它、与编码和学习方面的联系，以及其对分布式信息瓶颈问题和高斯模型的扩展。同时探讨其与自动编码器、表征学习、变分推断和通用重建等方面的紧密联系。

Jan, 2020

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

研究如何在分布式网络中学习高维、非参数和结构化（如高斯）分布，并考虑不同通信模型（包括独立、顺序和黑板模型）的交互限制对于最小化风险和 Fisher 信息的影响。

Feb, 2019

该论文提出了一个几何统计分析框架，适用于泛化的不适定线性反问题模型，包括噪声压缩感知、符号向量恢复、迹回归、正交矩阵估计和噪声矩阵完成等特殊情况，提出了可行的计算凸规划方法，用于统计推断，包括估计、置信区间和假设检验。该论文建立了一个理论框架，以表征局部估计收敛速度，并提供统计推断保证，其结果基于局部锥几何和对偶性，并通过高斯宽度和 Sudakov 最小化估计量表征局部切锥的几何。

Apr, 2014

讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

Apr, 2014

提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

Jun, 2019

探讨了线性干扰网络，包括有线和无线网络，研究表明网络容量和自由度上限都受到索引编码问题容量的限制。干扰对齐视角被用来将现有的索引编码解决方案转化为有线网络容量和无线网络自由度解决方案，并找到三个问题不同类别的新统一解决方案。

Jan, 2013

本文提出了一种联合训练和源编码方案，具有可验证的期望保证，通过在条件分布和先验之间施加适当的 Kullback-Leibler 散度约束，同时保证了小的平均经验风险（即训练损失），小的平均泛化误差和小的平均通信成本。

Jun, 2024

该论文中提出了一种新的估计信号的方法，可以在压缩感知、稀疏叠加编码或分割多路接入等应用中使用，该方法基于统计物理的启发式重复方法，使用 Guerra 类型插值和空间耦合分析，得出了相对精确的互信息估计和最小均方误差单字公式，可以应用于所有离散有界信号的随机高斯线性估计。

Jul, 2016