Apr, 2013

关于最大相关性、超收缩性和数据处理不等式的研究（Erkip 和 Cover 的论文）

PDF
TL;DR本文提供了随机变量对 $(X,Y)$ 的 Hirschfeld-Gebelein-R\'{e} nyi 最大相关性以及在无穷远处的超收缩带的非平凡边界的弦斜率的新的几何特征，这些新特征简化了这些量的一些已知事实的证明，还给出了 Erkip 和 Cover 声称的数据处理不等式的反例，以及找到了这种不等式的正确紧致常数。
hirschfeld-gebelein-r\'{e}nyi maximal correlationchordal slopehypercontractivity ribbondata processing inequalitycounterexample
发现论文，激发创造
  • 通道和贝叶斯网络的强数据处理不等式

    本文研究了数据处理不等式及其在信息论等领域中的应用，提出了一种针对贝叶斯网络的端到端强数据处理不等式构造方法，并探讨了基于线性强数据处理不等式而非耗散不等式的信息扩散方式。

    Aug, 2015

  • 通过 Grothendieck 不等式解同步和 MaxCut 问题的 SDP

    通过引入非凸约束形式并应用 Riemannian trust-region 方法，该论文研究了 MaxCut 和同步问题中的秩约束半定规划，并建立了一个 Grothendieck 型不等式证明局部最大值和危险鞍点都在离全局最大值一个小倍数距离的情况下，SDPs 可以在已知精度内得到解决。

    Mar, 2017

  • 关于最大相关性、互信息和数据隐私

    通过使用最大相关性代替互信息作为隐私约束，本文对速率隐私函数进行了修改，得到了一种考虑隐私约束的估计问题的速率隐私函数，并得出了当最大相关隐私设为某个阈值时该问题的效用上限，并构建了一个可以达到该上限的显式隐私方案。

    Oct, 2015

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 信息论泛化界的统一框架

    文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

    May, 2023

  • 通过 SOS 和 Frankl--Rödl 图的超对比不等式

    SUMMARY IN SIMPLIFIED CHINESE HERE

    Dec, 2012

  • Bernstein-Orlicz 范数和偏差不等式

    本文引入了伯恩斯坦 - 奥利克斯范数、基于树状结构的锁定与锁定泛化，用熵和分支预测树实现锁定的链式化，讨论了非有界情形下经验过程的偏差不等式。

    Nov, 2011

  • 基于超立方体的大规模相似度连接、边等周性和距离相关性

    该研究探讨了分布式协议用于在大型数据集中查找所有相似向量对的方法，重点关注 Hamming 距离，提出了一种新型组合优化问题来捕捉分析上的核心，展示了边等周形状的设计方法和新的距离相关性界限。

    Nov, 2016

  • 离散通道的强数据处理不等式和 $Φ$-Sobolev 不等式

    本文系统研究了离散通道中 SDPIs 的最优常数，包括它们的变分表征、上下界、产品概率空间上的通道结构结果以及 SDPIs 与所谓的 $\Phi$-Sobolev 不等式之间的关系，并讨论了对信息论、离散概率和统计物理的几个应用。

    Nov, 2014

  • 熵与组合维数

    通过解决 Talagrand 的熵问题，我们证明了：每个有界函数类的 L_2 覆盖数都与其 shattering 维度成指数关系。这扩展了 Dudley 关于 {0,1} 函数类的定理，对于这些函数，shattering 维度是他们的 Vapnik-Chervonenkis 维度。在凸几何中，这意味着凸体 K 的熵可以由其坐标投影中包含的固定边长的立方体的最大维度控制。该理论有很多后续影响，包括 Elton 的最优定理以及实值情况下统计中心极限定理的估计。

    Mar, 2002