May, 2024

从第一信息理论原理解码非随机数据中的几何属性

PDF
TL;DR应用信息论、测度论和理论计算机科学的原理，我们介绍了一种具有广泛应用于编码理论的单变量信号去卷积方法，特别是在零知识单向通信渠道中，例如从未知生成源解码没有先验知识和无法发送返回消息的信息。我们的多维空间重建方法从任意接收到的信号中得出的结果不依赖于编码解码方案、计算模型、编程语言、形式理论、计算（或半计算）的算法复杂性近似方法以及任意选择的（计算）事件概率测度。该方法源于一种实现人工通用智能的原理，能够构建一个独立于任意先验概率分布的模型，用于解码非随机数据，可应用于信号处理、因果去卷积、拓扑和几何特性编码、密码学以及生物和技术签名检测。
signal deconvolutioncoding theoryzero-knowledge one-way communication channelsmultidimensional space reconstructiondecoding non-random data
发现论文，激发创造
  • 大规模生成模型的最优空间反褶积和信息重构

    本文介绍了一种基于人工智能普适性原理的单变量信号反卷积方法，该方法基于生成模型，结合信息论和算法概率，旨在研究非随机数据如何编码关于物理特性的信息，可用于编码理论、密码学、信号处理、因果反卷积、生命学和技术特征检测等领域。

    Mar, 2023

  • 几何与组合：稀疏信号恢复的统一方法

    本文介绍了稀疏信号恢复的两种算法方法：几何和组合。我们提出了一种统一这两种方法的新方法，通过高质量不平衡扩展器的邻接矩阵来推广受限等距性质的概念，并展示了新的测量矩阵构造和算法，比先前的算法在测量数量或噪声容忍度上具有更好的表现。

    Apr, 2008

  • 利用信息估计方法进行图像系统的通用评估与设计

    应用信息理论于成像系统的研究中，通过建模对象和测量之间的概率关系，利用只有噪声测量数据的方法估计信息，进而综合量化测量质量，优化成像硬件设计，探索成像系统的基本性能极限，并提供分析和设计工具。

    May, 2024

  • GAIT: 信息论的几何方法

    提出了一种相对于符号丰度和相似度的熵的概念，引申到信息论中的几个概念和定理的几何意义，提出了一种与 Wasserstein 距离方法相当的理论，但具有可以高效计算的闭式表达式，通过实验表明了所提出方法的广泛应用性。

    Jun, 2019

  • 在存在辅助信息的情况下，根据低维特征对高维信号进行分类和重建

    本研究考虑通过低维特征提取高维信号的分类与恢复问题，研究了侧信息对于高维信号恢复的影响及其本质极限，其中使用高斯混合模型描述信号与侧信息之间的关联关系并分析了该模型的近似低秩结构。

    Dec, 2014

  • 高维噪声环境下稀疏恢复的信息论极限

    探讨了在不同应用场景下，基于高斯采样模型的信息理论稀疏模式恢复问题，给出了必要和充分条件，证明用 Lasso 算法能够实现一定精度上的稀疏模式恢复。

    Feb, 2007

  • 基于深度学习的通信算法

    本文研究使用深度学习自动发现解码算法的可行性，并展示了我们训练的循环神经网络架构能够在自适应 AWGN 频道模型下，解码着名的顺序编码达到接近最优的性能。

    May, 2018

  • 空间耦合和近似消息传递在信息理论上的最优压缩感知

    研究利用空间耦合思想提高部分非零测量下的压缩感知重建算法效率，使用近似信息传递算法分析该问题。证明该算法成功条件为欠采样率超过信号的（上）Rényi 信息维度，对于稀疏信号从 k (n)+o (n) 的测量重建信号，对于离散信号从 o (n) 的测量重建信号，但需要知道信号的经验分布。

    Dec, 2011

  • 通过因果视角对虚假相关性降低信息论偏差

    通过因果关系解释的虚假相关的条件互信息，我们提出了一种信息熵偏差测量技术，可以有效地识别基于特征的算法偏差，并设计了一种新颖的基于偏差正则化损失的去偏差框架和一种基于随机标签噪声的简单而有效的非监督去偏差技术。

    Jan, 2022

  • 极限反卷积：从嘈杂、异构和不完整的观测中推断完整的分布函数

    扩展高斯混合模型及 EM 技术，推广至带有不确定性协方差及缺失数据属性的数据点集，使用共轭先验和分离合并算法避免局部最优解，应用于 Hipparcos 卫星测量的二维星速数据，推断星体三维速度分布的算法。

    May, 2009