Jun, 2024

多视图数据中的共享信息发现

PDF
TL;DR提出了一个创新且数学严谨的定义，用于从多视角数据中计算共有信息。利用这个定义，开发了一种新颖的监督式多视角学习框架，以捕捉共有信息和独特信息。通过明确最小化总相关性项，可以让从每个视角提取的共有信息和独特信息彼此独立，从而在理论上保证了我们框架的有效性。通过基于矩阵的 Rényi's $α$ 阶熵函数来估计信息论量，避免了在高维空间中进行变分逼近和分布估计的需求。理论证明了我们的框架可以忠实地发现多视角数据中的共有信息和独特信息。在合成数据和七个标准数据集上的实验证明了我们提出的框架优于现有方法的性能。
发现论文，激发创造
  • 从众多变量中筛选共同信息

    本文提出了一种可扩展的方法，通过信息筛分解和简单的迭代过程，解决 Wyner 公共信息问题。该方法在高维度学习问题上比标准方法表现更好，并成功地恢复了大脑成像数据中的结构。

    Jun, 2016

  • 量化独特信息

    本文提出了新的测量共享信息，独特信息和协同信息的方法，用于分解与第三个随机变量 X 一起的一对随机变量 $（Y，Z）$ 的多信息。我们的措施受到独特信息的操作思想的启发，建议共享信息和独特信息应该仅依赖于 $（X，Y）$ 和 $（X，Z）$ 的对偶边际分布。虽然此不变性属性以前尚未研究，但其他所提出的共享信息措施满足此不变性属性。这种不变性属性并不能唯一地确定我们的新措施，但它意味着我们定义的函数是符合相同不变性属性的任何其他措施的范围。我们研究了我们的措施的性质并将它们与其他候选措施进行了比较。

    Nov, 2013

  • 信息论引导的启发式渐进多视角编码

    利用信息理论建立一个三层渐进式多视图编码方法 (IPMC) 来学习多视图表示，并通过理论和实证研究证明了 IPMC 方法相比于现有方法的优越性。

    Aug, 2023

  • 在计算限制下可用信息的理论

    本文提出了一个基于信息论的新框架，旨在解决复杂系统中的信息推理问题，该框架基于 Shannon 信息理论的变分扩展，结合了建模能力和计算限制，提出了预测 V - 信息的概念，在模型表示学习和系统结构学习方面表现优于传统的相互信息的方法。

    Feb, 2020

  • 多视角聚类的共享生成潜在表示学习

    本文提出了一种基于共享生成潜在表征的多视角聚类方法，通过深度生成学习从视角中提取非线性特征并捕捉视角之间的相关性以达到更好的聚类性能，并在多个不同规模的数据集上得到了优于现有方法的实验结果。

    Jul, 2019

  • 在大型网络中估计互信息和多信息

    提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

    Feb, 2005

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020

  • 精确公共信息

    本文介绍了通用随机性的最小描述长度的概念，研究了它的性质和计算。同时提出了通用随机性速率的概念，并给出了多字母表征定理。

    Feb, 2014

  • 理解基于潜在相关性的多视角学习和自监督：一个可识别性视角

    本文旨在从潜在组件识别的角度理解基于最大化相关性的深度多视角学习，并采用一种直观的生成模型来分析多视角数据，它是共享和私有组件的不同非线性混合物，通过最大化潜在相关性，可以保证从各个视角提取共享组件（在一定程度上）并且还证明了通过适当的正则化设计，每个视图中的私有信息可以被明确地分离出来。

    Jun, 2021

  • 多元信息内容的通用度量

    本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

    Sep, 2019