effective rank | BriefGPT - AI 论文速递

关键词effective rank

搜索结果 - 4

利用学习指标提高联邦学习效果
目前在联邦学习环境下，没有任何学习方案利用可解释的人工智能（XAI）的新兴研究，尤其是能够帮助确定模型学习效果的新型学习度量。本文将联合联邦学习和学习度量有效秩（Effective Rank），提出了第一个联邦学习度量聚合方法，并展示了有效
PDF10 months ago
通过排名评估预训练的自监督表示在下游任务中的表现
本研究提出了一种简单的无监督准则 RankMe 用于衡量 JE-SSL 表示学习的有效性，具备不需要标签，简单且无需调参等好处，可以在不依赖标签的情况下评估性能并选择最优调参方案。
PDF2 years ago
深度矩阵分解的梯度下降算法：动力学和从低秩隐含的偏差
本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的 “有效秩” 动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。
PDF4 years ago
在 L4-L2 范数等价条件下的稳健协方差估计
本文针对中心随机矢量提出了一种协方差估计器，该矢量满足 $L_4-L_2$ 范数等价性，并在亚高斯情况下改善了当前的高概率界限，该算法的性能也符合高斯向量预期，新的界限不取决于基本向量的维度，而是取决于协方差矩阵的有效秩。
PDF6 years ago