replica method | BriefGPT - AI 论文速递

关键词replica method

搜索结果 - 7

典型案例分析中的权重量化对模型学习的影响
本文研究了大规模数据分析模型中使用的量化方法及其超参数选择。通过采用统计物理学中的典型案例分析，特别是副本方法，我们探索了超参数对简单学习模型的量化产生的影响，并得到了三个关键发现：（i）在位数较少和量化宽度较大的情况下会出现不稳定的超参数
PDF5 months ago
ICML随机特征和隐式流形模型学习中的泛化误差
使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机
PDF4 years ago
随机线性估计中的互信息：超越 i.i.d. 矩阵
本文通过自适应插值方法和随机矩阵理论证明了 Takeda，Uda，Kabashima 和 Tulino，Verdu，Caire 和 Shamai 使用复制方法提出的公式适用于一类具有旋转不变性质的矩阵，进而超越了原有广泛应用于压缩感知和统计
PDF6 years ago
高斯矩阵压缩感知中的复制对称预测是精确的
本文考虑了压缩感知在独立同分布信号分布和独立同分布高斯测量矩阵情况下的基本限制，并在温和技术条件下严格描述了其渐近互信息和最小均方误差。结果表明，极限互信息和最小均方误差等于统计物理学中复制方法预测的值。这解决了一个长达十年的已知问题。
PDF8 years ago
带有部分 DFT 感知矩阵的 Turbo 压缩感知
本文介绍了一种基于部分离散傅里叶变换测量矩阵的 Turbo 压缩感知算法，其状态演化与复制法推导的结果一致。数值实验表明，该算法在使用部分 DFT 测量矩阵时优于著名的近似消息传递算法 (AMP)。
PDF10 years ago
最简单的随机优化中拓扑平凡化与最小值的大偏差
本文研究了约束最小二乘问题（trust region subproblem）和球形自旋玻璃（spherical spin glass）等问题。作者首先确定了对应于磁场线性项的两个大型 N 缩放体积（large-N scaling regim
PDF11 years ago
基于 Lp 范数最小化的压缩感知典型重构限制
本文探讨了如何利用 L_p-norm 等方法在限制非零元素个数的条件下，通过线性转换的约束来重构出一个 N 维向量 x.
PDF15 years ago