- 金字塔扩散模型的超高分辨率图像合成
Pyramid Diffusion Model (PDM) 通过金字塔潜在表示提供了更广泛的设计空间,以实现超高分辨率图像合成,结合空间通道注意力和 Res-Skip 连接,以及谱范数和递减的 Dropout 策略,使得 PDM 在生成任务 - 卷积层的谱范数与循环和零填充
该研究使用格拉姆迭代方法来计算具有上界保证的谱范数,并将其推广到圆形卷积层和零填充卷积层,证明了其二次收敛性。还提供了将圆形卷积和零填充卷积的谱范数联系起来的定理,并设计了一种光谱重缩放方法,用作增强网络鲁棒性的竞争性 1-Lipschit - 各向异性扩散模版:从简单的推导到稳定性估计和 ResNet 实现
研究了具有扩散张量的各向异性扩散过程在图像分析、物理和工程领域中的重要性,通过将二维各向异性扩散分解为四个一维扩散,推导出了一个包含一个自由参数的完整的有限差分离散化公式,并证明了其对现有离散化方法的广泛适用性。同时给出了与该公式相应的矩阵 - ICML通过 Gram 迭代方法高效计算卷积层的 Lipschitz 常数上界
通过基于循环矩阵理论和 Gram 迭代的方法,提出了一种精确,快速,可微分的卷积层谱范数上界的估算方法,表现出超线性收敛特性,并可用于 Lipschitz 常数的正则化。实验表明,该方法在精度、计算成本和可扩展性等方面优于其他最先进的方法, - 具有相关条目的高斯矩阵的谱范数
本研究使用联合高斯分布探讨矩阵的谱范数和协方差矩阵之间的关系,提出了一个非渐近限制,可以去除非交换 Khintchine 不等式中的 log 项的限制。
- 学习深度修正线性单元网络的固定参数可解性
使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题,该算法可以快速,并且不需要权重具有良好的条件或正系数的假设。
- ICLR奇幻四侠:卷积层奇异值的可微界限
本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界,在 MNIST 和 CIFAR-10 上实验并证明其有效提高了深度网络的泛化性和鲁棒性。
- 基于生成对抗网络的音频到场景图像合成
通过使用生成对抗网络、谱范数、投影判别器和辅助分类器等技术,我们的模型可以更好地生成声音相关的图像,这表明我们的模型在一定程度上真正了解声音和图像之间的关系。
- ICLR神经网络谱范数归一化边缘界限的 PAC-Bayesian 方法
利用 PAC-Bayes 分析,我们提出了一种将前馈神经网络的谱范数和权重的 Frobenius 范数乘积作为度量的泛化界限。
- 高维岭函数组合(包含神经网络)的风险界
利用惩罚最小二乘估计法或贪婪得到的版本,选择连续函数集中的候选拟合替代参数空间离散化,证明了一些噪声设置下,非线性和非参数函数估计的风险小于已有理论得到的界,在样本量小于无限维参数化词典输入维度的立方根时可以进一步提升风险边界。
- 分布式随机优化中的数据相关性
研究分布式一致性的随机梯度下降算法,证明收敛速度与网络拓扑的权值矩阵的标准谱间隙和数据的样本协方差矩阵的谱范数有关,证明分布式 SGD 算法在谱范数较小的数据集合上表现更好, 并限制通信量以实现数据相关的收敛速度,通过在更多节点上分散固定数 - ICML交替最小化法保证加权低秩逼近的恢复
本文提出一种简单的交替最小化算法,提供了带权重低秩矩阵恢复的可证明的等保障,并不需要关于噪声的假设,其误差随交替次数按指数级递减,初始矩阵可以由 SVD 或随机初始化得到,这是一种非常简单的算法,可以显着扩展矩阵补全的结果,特别是那些存在于 - 分布式小批量 SDCA
该论文提出了一种改进的 mini-batch 随机双坐标上升方法,用于正则化经验损失最小化(即,支持向量机和支持向量机类型目标)。我们的分析允许灵活的抽样方案,包括数据分布跨多台机器,并结合了对损失平滑度和 / 或数据展开性的依赖(通过谱范 - 独立随机矩阵之和的预期范数:基础方法
本文为一个基于随机矩阵的泛函分析不等式提供了完整、简明的证明。
- MM随机图的浓缩和正则化
本文通过研究谱范数中邻接矩阵和拉普拉斯矩阵的浓度来探索随机图与其期望值之间的典型接近程度,其中包括不同概率的独立形成的具有 n 个顶点的不均匀 Erdos-Renyi 随机图,对于稀疏随机图,其期望度数小于 o(logn),需要使这种度数正 - 随机拉普拉斯矩阵和凸松弛
对于一大类随机拉普拉斯矩阵来说,最大特征值与最大对角线元素的大小关系是紧的。其中最大特征值可以用半正定松弛方法解决,从而解决了一些凸松弛算法紧度的问题。这也可以解释 Erdős-Rényi 图的连通阈值和谱范数矩阵估计等问题。
- 局部观测矩阵的 CUR 算法
本文提出了一种基于部分观测矩阵的 CUR 分解算法,通过随机采样行列和部分观察条目来计算目标矩阵的低秩逼近,相对误差的上限是通过谱范数来衡量,该算法仅需要观测矩阵中一小部分的条目即可完美恢复成绩为 $r$ 的矩阵,其样本复杂度得到了改进,经 - 高阶张量的核范数
本文探讨了高阶张量的核范数的数学和计算特性,发现核范数与张量秩一样取决于基域的选择,并且证明了对于对称张量,它的对称核范数总是等于其核范数。此外,本文还证明了计算张量核范数在多个方面上是 NP 难问题。
- Gowers 范数、函数极限和参数估计
利用极限概念,通过 Gowers 范数引入度量,以研究函数序列极限的属性,阐明了低次多项式及系数 - 结构性质的常数查询检测,如谱范数和秩条件。
- 通过采样杠杆元素实现更紧凑的低秩近似
本文提出了一种新的随机算法,该算法采用特别偏向采样的方法,使误差最小化,可以在光谱范数下利用输入稀疏性生成 M 的秩 - r 逼近,并具有 better dependence on error ε,是一种高度可并行化的优化方法。此外,本论文