可数无限字母表上的编码
本文针对两个编码器多终端源编码问题进行研究,在对数损失测量下,提供了对于任意相关源有限字母表的可实现速率失真区域的单字母表达。在此过程中,还给出了 $m$ 个编码器首席执行官的速率失真区域(也在对数损失下)。并提供了多个应用和示例。
Oct, 2011
本篇论文阐述了基于语法的最小局部编码问题,提出了解决该问题的一种简单的 Zipfian 基准证明方法,并发现最小块编码规则的数量不能明显区分长内存和无内存来源。
Sep, 2022
研究了源编码率和概率与块长度的关系,推导出任意固定块长度下的紧致通用可达性和对话边界,对于具备可分离失真度的平稳无记忆源,最小可达速率接近于率失真函数加上速率分散。
Feb, 2011
本文通过特定的、基于熵的失真度量,研究了一类多终端源编码问题,并提供了两种情形下的可行码率失真区域,同时证明了我们的特定失真度量和(1)经典的 Slepian-Wolf 无损分布式源编码网络以及(2)仅恢复一个源的 Ahlswede-Körner-Wyner 编码中的源编码与辅助信息问题之间存在关系。
May, 2011
在独立样本的基础上,通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系,进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.
Jul, 2014
本文介绍了 Schalkwijk 和 Kailath(1966)开发的一类用于高斯信道的分组码,该码在理想反馈下的译码误差概率随块长度呈二次指数减小,本文用 Elias(1956)的一个结果解释并简单推导了该结果,接着展示了 Schalkwijk-Kailath 方案的简单修改,该修改的错误概率随块长度以线性增加的指数次数减小,在无限带宽极限情况下,该方案在容量以下的所有速率上使用有界的期望能量产生零误差概率,接着,对于有限带宽情况导出了一个下界,其中错误概率随块长度以与上界相同的速度单线性增加的指数次数减小。
Dec, 2008
考虑了任意编码方案下最优编码的问题,并表明它预测了 Zipf 定律的缩写,即自然语言中更常见的词语更短。研究发现,最优非奇异编码预测词语的长度应该按其频次排名的对数增长,这与 Zipf 缩写定律一致。最优非奇异编码结合最大熵原则还预测了 Zipf 的等级 - 频率分布。最后,讨论了最优编码对 Zipf 定律及其他语言规律的构建的影响。
Jun, 2019
本文介绍了利用更紧密的变分上限构建的 bits-back 编码算法来消除 KL 散度对速率效率的影响,并提出了利用延伸空间表示来优化 MC 估计的关键思想,并通过在潜在空间中耦合来大大减少额外成本,最终实现了较 bits-back 更好的无损压缩速率。
Feb, 2021
对有限公共随机性的输出约束有损源编码进行失真率函数分析,讨论了均方误差度量的特殊情况,当源和重建分布均为高斯分布时,得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。
Mar, 2024