optimization theory | BriefGPT

关键词optimization theory

搜索结果 - 13

可扩展的模块化规范优化
在本文中，我们通过定义模块化范数来显著推广了神经网络的权重归一化方法，该范数与网络架构本身一起递归地定义，并展示了它在性能提升和理论分析方面的应用。
PDFa month ago
R2D2 深度神经网络系列模型用于射电天文学中的快速精确成像
通过引入一种深度学习方法，命名为 “高动态范围成像的残差到残差 DNN 系列”，解决了高分辨率高动态范围反问题的可扩展性挑战，同时提供了快速精确成像的能力。
PDF4 months ago
基于优化理论的深度强化学习用于超可靠无线网络控制系统资源分配
基于优化理论的深度强化学习框架被介绍用于联合设计控制和通信系统，并针对最小化功耗目标，在满足通信系统的调度性和速率约束以及控制系统的稳定性约束的前提下，通过优化理论和深度强化学习两个阶段的组合来实现，该方法在大量的模拟实验中表现出优于优化理
PDF7 months ago
PNN：从近端算法到鲁棒展开图像去噪网络和即插即用方法
在这篇文章中，我们提出了一个统一的框架来构建用于高斯降噪任务的近端神经网络（PNNs），该框架基于双重 - 投影算法和原 - 对偶 Chambolle-Pock 算法。我们还展示了这些算法的加速惯性版本如何在关联的神经网络层中实现跳跃连接。
PDFa year ago
通过锐度方法强化单个神经元的学习
研究单个神经元面对对抗标签噪声情况下的 $L_2^2$ 损失学习问题。提出了一种高效算法，适用于广泛的激活函数族，包括 ReLU，并在远比之前工作更微弱的分布假设下近似最优 $L_2^2$ 误差，关键在于优化理论中局部误差界的一种新颖联系。
PDFa year ago
IJCAIKemeny 排名聚合的多样性：参数化方法
研究表明，通过将方案多样性与参数化复杂性理论相结合，可以使用基于算法的框架解决实际相关问题，例如 Kemeny Rank 聚合问题。
PDF3 years ago
分散随机梯度下降的稳定性和泛化能力
本论文提出了分散化随机梯度下降法的新方法，并使用（非）凸优化理论建立了第一个针对分散化随机梯度下降法的稳定性和泛化保证。我们的理论结果基于少数常见且温和的假设，并揭示分散化将首次降低 SGD 的稳定性。通过使用多种分散化设置和基准机器学习模
PDF3 years ago
迭代算法诱导的深度展开神经网络：多用户 MIMO 系统的预编码设计
本文提出了一种基于优化理论的算法框架，采用深度展开神经网络求解多用户 MIMO 系统中的前编码设计问题，并实现了一个基于 WMMSE 算法的高效 IAIDNN，有效地降低了计算复杂度，同时保持了 WMMSE 算法的性能。
PDF4 years ago
梅日定理回归、梯度下降升及其在非凸零和博弈中的周期和人为均衡
本文研究了一类非凸非凹的极小极大博弈，应用于生成对抗网络中。作者从优化理论、博弈理论和动态系统的角度展开分析，证明了针对特定的问题实例，梯度下降升力动力学可能表现出多种不收敛至极小极大解的行为，包括周期性和波恩卡雷复发。
PDF5 years ago
PRIMPing 流程 -- 通过近端交替线性化最小化实现平铺
本文提出了一种基于优化理论的新型布尔矩阵分解算法来解决数据挖掘中的拼瓦问题，该算法通过最小化因子分解的描述长度实现，具有良好的噪声鲁棒性，并可与任何适当的实值放松代价度量一起使用。实验结果表明，此方法识别出的解释性模式几乎总是比竞争算法更好
PDF5 years ago
DSOS 和 SDSOS 优化：比完全平方和和半定性优化更易处理的替代方法
本文介绍了 DSOS 和 SDSOS 最优化算法作为线性规划和二阶锥规划的替代方法，以允许一个在计算时间与解决方案质量之间进行权衡的选择，并且用多个应用领域的数值实验表明，我们可以在目前传统的平方和算法难以实现的规模上处理问题。
PDF7 years ago
AAAI深度半随机特征用于非线性函数逼近
本文提出了一种半随机特征的非线性函数逼近方法。理论上证明了其具有优秀的逼近性能、优化性质和泛化性能，并通过实验表明其能够匹配神经网络的性能且需要更少的单元，同时提出了使用半随机特征的隐含集合方法。
PDF7 years ago
Finito: 一种更快速、具有置换性的渐进梯度方法，用于大数据问题
本文通过优化理论，针对平滑且强凸的有限和问题，提出一种新的求解方法，其理论收敛速度是现有方法的 4 倍，同时还可以实现不重复的抽样，提高计算速度，并通过实证研究已达到了最优表现。
PDF10 years ago