Dec, 2010

最大化定向信息的 Blahut-Arimoto 算法扩展

PDF
TL;DR本文扩展了 Blahut-Arimoto 算法，用于最大化 Massey 的有向信息，提出了一种既适用于分析具有延迟反馈信道的能力的算法，同时也提供了上下边界序列，为了找到有向信息在因果条件概率质量函数下的最大值，我们使用了反向指数时间最大化和替代最大化过程。
发现论文，激发创造
  • 面向离散字母的有向信息数据驱动优化

    本文提出了一种使用强化学习技术对离散输入空间中的定向信息进行估计和优化的框架，并将其应用于估计各种离散通道（包括前馈和反馈）的能力。

    Jan, 2023

  • 基于数据的容量上限估计

    提出一种基于数据驱动的算法，利用最小化通道输出上的参考分布来估算未知通道法和连续输出字母表上通道容量上界的估算方法，并使用修改的互信息神经估计器来计算所需的条件通道和参考分布之间的散度最大化，在不同的无记忆通道上进行数字评估，证明了该方法估算的上界要么接近通道容量，要么接近最佳已知下界。

    May, 2022

  • 有向信息的通用估计

    提出了四种估计器用于有限字母过程对之间的有向信息速率，基于通用概率分配。利用这些理论结果，使用上下文树加权算法作为通用概率分配实现了提出的估计器，并在合成和实际数据上进行了实验，证明了提出的方案的潜力及有向信息估计在检测和测量因果影响和延迟方面的实用性。

    Jan, 2012

  • 带反馈的信道容量

    本文提出了一种用于处理具有记忆和反馈的通道的一般框架，包括使用广义 Massey 概念和动态规划框架计算不同类型的通道的容量，以及描述简单足够统计的场景。

    Sep, 2006

  • Blahut 和 Arimoto 主题的变体

    通过使用一维根查找步骤和牛顿法更新固定乘数的 Blahut-Arimoto 算法的新修改版，可以使算法更加灵活和高效，直接计算给定目标失真下的速率失真函数，并且收敛速度为 O（1/n）。

    May, 2023

  • 内在动机强化学习的变分信息最大化

    本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

    Sep, 2015

  • 估计被指导的信息和检验因果关系

    研究了在联合过程是给定记忆长度的马尔可夫链的情况下，通过插件（或最大似然）估计算法来估算两个离散过程 {Xn} 和 {Yn} 之间的有向信息速率的问题。插件估计器被证明是渐近高斯的，并在适当条件下以最优速率 O（1/√n）收敛；这是第一个已被证明可以达到此速率的估计器。同时，该研究发现估算有向信息速率的问题与执行关于两个过程之间因果关系存在的假设检验问题之间存在重要联系。 这些结果有助于设计实际的似然比检验，以检验因果影响的存在或不存在。

    Jul, 2015

  • 离散和高斯源的分布式信息瓶颈方法

    研究多个编码器分别以某种方式压缩其观察结果的分布式信息瓶颈问题，建立单字母表征信息率区间的模型，并针对离散无记忆源和无记忆向量高斯源，提出 Blahut-Arimoto 类型的迭代算法，通过迭代一组自洽方程来计算最优的信息率与复杂度之间的权衡。

    Sep, 2017

  • 通过有向信息神经估计器计算具有记忆的连续信道容量

    利用神经分布转换器（NDT）模型对连续字母信道进行容量估计，从而推导出一种新的估计框架来逐步最大化目标函数中的分数，以便进行准确的估计。

    Mar, 2020

  • 二维通道的分割函数和信息速率的蒙特卡洛算法

    本篇论文提出了基于 Monte Carlo 算法的二维源 / 信道模型信息速率计算方法，以允许的输入配置为限制的二进制输入信道为重点研究对象。通过采用基于树的 Gibbs 抽样和多层（多温度）重要性抽样算法，提出了计算 Monte Carlo 估计分区函数的方法。通过模拟结果的验证，证明了所提算法的可行性。

    May, 2011