orthogonality constraints | BriefGPT

关键词orthogonality constraints

搜索结果 - 6

弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用
我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的
PDFa month ago
何时可以使用神经切线核和主成分分析近似广义对比模型？
对比学习是一种从无标签数据中学习表示的范式，在图像和文本数据方面取得了巨大成功。本文分析了双层对比模型的训练动态，并回答了这些模型何时接近于核方法或主成分分析。我们的理论结果可能适用于多层网络。
PDF4 months ago
自监督模型的表示学习动态
自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL
PDF10 months ago
将 Adam 推广到流形上以高效训练 Transformers
通过利用特殊结构（如 Stiefel 流形、simplectic Stiefel 流形、Grassmann 流形和 simplectic Grassmann 流形）对神经网络优化进行降维处理，成功地将 Adam 算法推广到了流形层面上，并将
PDFa year ago
关于正交约束无光滑组合优化问题的块坐标下降方法
提出了一种新的基于块坐标下降（OBCD）的非光滑复合优化方法，该方法能够在正交约束下解决一般的非光滑复合问题，是具备收敛保证的可行方法。
PDFa year ago
正交约束下的二次优化：显式 Lojasiewicz 指数与线性搜索方法的收敛性
本研究给出了一个 Lojasiewicz 不等式的指数估计，证明了一类线性搜索方法的收敛性。该方法可用于解决许多科学和工程领域的矩阵优化问题，例如二次优化问题和正交性约束问题。
PDF9 years ago