我们提出了一种名为本地相关解释（CorEx）的新方法，通过首先基于数据流形上的接近程度对数据点进行聚类，以在局部尺度上捕获高阶变量相互作用（HOIs），以解决在复杂的生态系统、合作关系和人脑等领域中准确表征 HOIs 变得困难并且当 HOIs 在数据中变化时进一步加剧的问题。然后，我们使用一种名为总相关性的多变量互信息构建每个聚类中数据的潜在因子表示，以学习局部 HOIs。我们使用本地 CorEx 探索合成和真实世界数据中的 HOIs，以提取有关数据结构的隐藏见解。最后，我们演示了本地 CorEx 用于探索和解释经过训练的神经网络内部运作的适用性。

Feb, 2024

本文提出了一种基于多元互信息或称总相关性的信息论方法，用于表征表示学习中的解缠和依赖性，提出了一种基于可变下限的 CorEx 方法，使得 Latent codes 更具可解释性，并且能够生成更丰富、更真实的样本；同时，将 VAE 与 CorEx 相联系，在信息论上加深了对分层 VAE 的理解，并激发了一种新的算法 AnchorVAE。

Feb, 2018

使用模糊和非正式的专家知识指导文本中解释性潜在主题的发现，结合了信息瓶颈和总相关性解释方法，对 Anchored CorEx 进行了初步评估，并在两个不同的语料库上产生了更连贯和可解释的主题。

Jun, 2016

探索了机器学习方法背后的机制，利用内在维度与相关性之间的纠缠提出了一种度量标准，用于量化高维流形之间的相关性。验证了方法在合成数据上的优势和缺点，并在神经网络表示中将分析扩展到大规模应用，揭示了多模态数据的潜在表示之间明显的关联，而现有方法在检测相似性方面存在显著困难。研究结果表明了潜在流形之间高度非线性的相关性模式的存在。

Jun, 2024

研究多元复杂系统的建模，利用局部结构检测与变量的成对相关性推断数据的维度和像素排列，辅助现代基于注意力机制的机器学习方法的成功实现。

May, 2023

本文介绍了一种名为 CorEx 的主题建模方法，这种方法不需要假设潜在的生成模型，而是通过信息理论框架学习最大信息的主题。该框架可以自然地推广到具有层次结构和半监督扩展的情况，通过锚词，可以灵活地将单词级的领域知识纳入 CorEx，从而最小限度地促进主题的可分离性和表征。通过多种数据集、指标和实验，我们证明了 CorEx 产生的主题与无监督和半监督变体的 LDA 所产生的主题在质量上是可比较的。

Nov, 2016

本文提出了一种新的学习范式，以自动从非常高的维度中识别出信息丰富且相关的特征组。通过利用相关度量作为约束条件，我们提出了一种有效的嵌入式特征选择方法，可以识别出最优的有区分性而且不相关的特征子集，即所谓的支持特征。在学习过程中，还可以发现与每个支持特征相关联的相关特征的基础组结构，即附属特征，而不需要任何额外成本。 在合成和高维真实世界数据集上的广泛实证研究验证了所提出的方法的有效性和效率。

Jun, 2012

本文研究了量化研究相关矩阵性质的方法，并介绍了如何从相关矩阵中定义和获得层次树和基于相关性的树和网络。通过对相关矩阵执行分层聚类和其他程序来检测相关矩阵的可靠方面，并且还讨论了将嵌套因子模型与从相关矩阵获得的分层树相关联的方法。通过使用 Kullback-Leibler 距离量化过滤过程中保留的信息及其稳定性。

Sep, 2008

本文综述了一些线性降维方法，以及它们如何作为矩阵流形优化问题进行求解，并提出了一种基于正交投影的典型相关分析方法，这种优化框架使得线性降维成为了一种面向各种数据类型的黑盒子数值技术。

Jun, 2014

应用非负张量因式分解方法在穿戴式传感器数据集 StudentLife 中，提取潜在的时间因素和相似个体群组，成功发现了表现良好的个体和常常从事休闲活动的个体，从而揭示了数据的低维结构。

May, 2019