May, 2013

来自非均匀嵌入的直接耦合信息度量

PDF
TL;DR提出了一种评估多变量时间序列中直接和定向耦合的方法，其扩展了最近发表的一种针对双变量时间序列的条件混合嵌入互信息（MIME）的度量。在所提出的部分 MIME（PMIME）度量中，嵌入是在所有观测变量上进行的，并且优化以解释响应变量。 展示了 PMIME 正确检测直接耦合，并优于（线性）条件 Granger 因果性和部分传输熵。 示范了 PMIME 不依赖显着性测试和嵌入参数，观察变量的数量对其统计精度没有影响，但可能会减慢计算过程。这些要点的重要性在模拟和应用于癫痫多通道头皮 EEG 中得到证明。
multivariate time seriesdirect couplingconditional mutual informationpmimescalp eeg
发现论文，激发创造
  • 通过非均匀嵌入检测多元时间序列中的因果关系

    本研究提出了一种名为 LM-PMIME 的新的基于信息理论的非均匀嵌入方法，旨在探测多元时间序列的因果关系，该方法集成了条件互信息的低维近似和混合搜索策略来构建混合嵌入向量，通过对线性随机、非线性随机和混沌系统的模拟试验，证明了该方法在传统的非均匀嵌入方案中具有更好的表现，尤其对于耦合弱的混沌系统，可以应用于癫痫多通道电 corticogram 记录。

    Mar, 2019

  • 基于约束模型和 PMIME 度量的时间序列因果发现

    本文介绍了一种新的方法来发现多元时间序列数据中的因果关系，该方法结合因果发现算法和基于信息论的度量，可以推断线性和非线性关系以及构建潜在的因果图。我们在几个模拟数据集上评估了我们的方法的性能，并展示了有希望的结果。

    May, 2023

  • 非均匀状态空间重构与耦合检测

    研究多维时间序列的状态空间重建，提出一种使用信息度量准则逐步构建嵌入向量的方法，并以头皮癫痫 EEG 记录为例，探究了耦合系统中的信息流。

    Jul, 2010

  • MEIM: 多分区嵌入交互，超越块状术语格式，实现高效和表达丰富的链接预测

    本文介绍了一种基于复合张量分解模型的多分区嵌入交互改进模型（MEIM），引入了独立核张量以进行集成效应和软正交以进行最大秩映射，提高了表现，同时仍然具有很高的效率，在使用相对较小的嵌入大小时优于强基线，并在困难的链接预测基准测试中实现了最先进的结果。

    Sep, 2022

  • 同胚信息神经估计

    DINE 是一种估算连续随机变量条件互信息的新方法，通过变换使目标变量用更简单的分布替代，从而能够有效地评估条件互信息，并在估算互信息，条件互信息和条件独立性测试等三个任务中表现出比竞争对手更好的性能。

    Nov, 2022

  • CRYPTO-MINE：基于互信息神经估计的加密破解

    在密码学领域中，我们提出了一种全新的方法来估计明文和密文之间的互信息，通过应用神经网络来评估密码系统的效率，并分析了多种加密方案和基准方法的效果，同时探讨了信息泄漏与输入分布之间的关系。

    Sep, 2023

  • MIM: 互信息机器

    引入 Mutual Information Machine (MIM)，一种概率自编码器，用于学习观测和潜变量的联合分布。MIM 反映了三个设计原则：低散度、高互信息和低边际熵，这有助于学习聚类潜在表示。与极大似然法和变分自编码器 (VAE) 相比，实验表明，MIM 通过避免后验崩溃，学习具有高互信息和一致的编码和解码分布的表征。

    Oct, 2019

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 跨模态检索的概率嵌入

    本研究提出了一种基于概率交叉模态嵌入的跨模态检索方法，该方法能够捕捉到一个图像或者一句话与多个相应图像或句子间的一对多关系。我们通过在 CUB 数据集上测试，证明了该方法不仅能提高检索性能，而且可以提供可解释性和不确定性的嵌入表示。

    Jan, 2021

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023