- FSOINet:基于特征空间优化的图像压缩感知网络
本文提出了一种基于特征空间的优化启发式网络(FSOINet),将像素空间中的近端梯度下降算法逐步映射到特征空间中进行信息流处理。该网络通过端到端学习的方式,同时学习采样矩阵和其他网络参数,实现了比现有领先方法更高的重构质量。
- ProxSkip:局部梯度步骤可证明提高通信加速!终于!
ProxSkip 是一种简单且高效的方法,用于减小平滑函数 (f) 和昂贵的不平滑的可逼近函数 (psi) 函数的总和。 这种方法可以有效地加速通信复杂度,特别适用于联邦学习的情况。
- ICML受传统迭代算法启发的图神经网络
本研究提出了一种新的 GNN 架构,结合基于迭代算法的更新规则,解决了现有架构在过度平滑、长距离依赖和对抗攻击等方面存在的问题。结果表明该模型在各种场景下都表现出极高的稳健性和准确性。
- 神经接近梯度迭代下的压缩 MR 指纹重建
针对磁共振指纹 (MRF) 问题的端到端深度学习方法中预测与物理正向模型的一致性大多未受控制,本文提出了一种名为 ProxNet 的学习的近端梯度下降框架,它直接将前向采集和布洛赫动力学模型纳入到循环学习机制中,使用紧凑的神经近端模型用于去 - 基于节点重要性的自适应群稀疏正则化的持续学习
提出了一种名为自适应分组稀疏的持续学习的新型正则化方法,该方法利用两种基于稀疏性的罚项来更新节点的重要性,并使用接近梯度下降方法进行学习,以明确控制模型容量,实现对新任务的高效学习,并通过重置不重要节点的权重来避免负面转移引起的灾难性遗忘。
- 拜占庭容错分布式优化的数据编码
本论文主要研究分布式优化存在拜占庭对手时的情况,提出了一种基于数据编码和纠错的新方法以抵御对手的攻击,证明了该方法信息理论上的最佳方案,并针对解决该问题提出了两个迭代算法:接近梯度下降(PGD)和坐标下降(CD)。通过实验结果证明了该方法的 - AAAI通过近端迭代实现高效神经网络架构搜索
本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法(称为 NASP),其通过将搜索过程重新构成为一个优化问题,并在前向和反向传播期间仅允许更新一个操作的约束条件下,以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。
- 大规模学习分层互动:凸优化方法
提出了一种基于凸松弛和近端梯度下降的高度可扩展算法,该算法采用了新的筛选规则和专门的激活集策略,能够处理具有密集设计矩阵的问题,并在预测和变量选择方面优于当前技术水平。
- CVPR迭代残差 CNN 在连拍摄影应用中的应用
本文介绍了一种基于迭代卷积网络的低质量图像拍摄技术,该技术利用爆发式拍摄的图像帧进行高质量图像的恢复和去噪,并在爆发式拍摄流程中进行了多项改进,方法展现出稳定的性能,不受帧数、顺序等限制。
- 非光滑非凸优化的快速随机方法
本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题,本文提出快速的随机算法,可获得常数迷你批量的收敛性。本文还使用这些算法的变种,证明了比批量近端梯度下降更快的收敛性,并在非凸、非光滑函数的一个子类中证明全局线性收敛率。