线性自回归学习的简短信息论分析
在本文中,我们使用渐近信息理论分析,为线性和非线性观测模型包括稀疏回归、分组测试、多元回归和存在缺失特征的问题,推导了恢复稀疏和结构化信号的基本样本复杂度界限,为一般稀疏信号处理模型提供了足够和必要的条件。
Apr, 2013
本研究借鉴于压缩感知技术提出了基于不确定性自编码器的无监督表示学习框架,利用低维投影作为自编码器的噪声隐含表示,并直接学习数据信号的压缩和恢复,这一模型统一了压缩感知、生成模型、降维方法等多种线性研究,所得的统计压缩感知结果比其他竞争方法平均提高32%。
Dec, 2018
通过分析最小二乘估计器的变体,,提出了一种半参数噪声估计算法,可以解决具有偏差,半参数噪声的估计问题,同时可以应用于部分观测线性系统参数的估计,且对于长期依赖问题的方差引入具有可减少的能力.
Feb, 2019
本论文提供了关于自监督学习中方差不变性正则化(VICReg)的信息论视角,将VICReg目标关联到互信息最大化,并使用该关系为VICReg导出广义泛化界,提出了基于互信息最大化的新型自监督学习方法,该方法在性能方面优于现有方法。
Mar, 2023
我们通过“邻近假设”矩阵的新构造以及一类新的稳定性概念——样本条件假设(SCH)稳定性,提出了新的信息论一般化保证。我们的方法提供了比先前信息论界限更精确的界限,适用于各种学习场景。值得注意的是,这些界限解决了在随机凸优化(SCO)问题的背景下现有信息论界限的局限性,正如Haghifam等人的最近工作所探讨的那样(2023年)。
Oct, 2023
线性估计问题中,我们建立了一个高斯-马尔可夫定理的扩展,其中偏置算子允许非零但相对于Schatten类型的矩阵范数保持有界。我们导出了核范数和谱范数(弗罗贝尼乌斯范数情况下回收岭回归)的最优估计器的简单和明确公式。此外,我们在多个随机矩阵集合中分析地导出了广义误差并与岭回归进行比较。最后,我们进行了大量模拟研究,结果显示交叉验证的核范数和谱范数回归器在某些情况下能胜过岭回归。
Nov, 2023