实证向量量化的快速算法
研究非有界并且存在重尾分布的损失函数的快速学习率,并引入了两个新的条件,可以得到比 $O (n^{-1/2})$ 更快的学习速率,例如在 $k$- 均值聚类问题中得到的结果。
Sep, 2016
对有限公共随机性的输出约束有损源编码进行失真率函数分析,讨论了均方误差度量的特殊情况,当源和重建分布均为高斯分布时,得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。
Mar, 2024
本研究通过修改标量量化器来实现分段量化,进而实现量化误差的指数衰减,并且证明了在量化器设计时无需先了解已知信号的模型,但是在重建时考虑已知信号的相似度,例如稀疏信号模型,这一融合方法可以显著降低量化误差,并且与信号模型的 Kolmogorov 熵之间存在一定的关联。
Sep, 2010
研究了源编码率和概率与块长度的关系,推导出任意固定块长度下的紧致通用可达性和对话边界,对于具备可分离失真度的平稳无记忆源,最小可达速率接近于率失真函数加上速率分散。
Feb, 2011
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
Jun, 2020
通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法,我们考虑了线性预测器和非线性预测器的设置,同时包括正定核。针对这类损失,作者提出了一种偏差 - 方差分解思路,并通过改善偏差项、方差项或二者同时来快速逼近渐进速率,从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。
Feb, 2019
提出了一种估计随机向量均值的估计器,时间复杂度为 $O (n^4+n^2d)$,其误差界限符合亚高斯分布。与 Hopkins(2018)介绍的基于二次项和谐级数的多项式时间估计器一样,在具有有限均值和协方差的数据分布方面,效率最高,但运行时间更快,分析更简单。
Feb, 2019
研究了分布式优化问题,在量化梯度、降低方差的基础上,提出新的缩短收敛时间的方法,实现了对于任意量化梯度的线性收敛,解决了弱凸和非凸问题,并在实验中验证了其效率优于传统方法。
Apr, 2019
本文探讨了将一个单位范数向量压缩到最少的比特数中,同时仍允许一定程度的失真恢复,尤其关注 “高失真” 情况下的压缩方法,并比较了有偏和无偏压缩的最佳压缩速率。
Jul, 2023