learning capacity | BriefGPT

关键词learning capacity

搜索结果 - 5

何时不需要更大的视觉模型？
通过多尺度较小模型的预训练与冻结，我们展示了其在多个图像尺度上能够超越较大的视觉模型，并证明了通过 S$^2$ 方法进行预训练可以与较大模型具有相当的学习能力。
PDF4 months ago
卷积神经网络何时停止学习？
使用卷积神经网络（CNNs）研究数据变化来预测其接近最佳学习能力，无需使用验证数据，以提高训练效率。通过在六种不同的 CNN 变种和三个不同的图像数据集上进行测试，研究表明该假设可以节省 58.49% 的计算时间，并且在与 MedMNIST
PDF4 months ago
流式锚点损失：增强时间意义的监督
我们提出了一种新的损失函数 Streaming Anchor Loss (SAL)，其动态调节基于关键帧的重要性，以确保模型训练重点放在预测相对较少但与任务相关的帧上，实验结果表明，SAL 能够有效地提高模型的准确性和延迟，而不需要额外的数
PDF9 months ago
学习能力：模型有效维度的一种度量
采用热力学和推理之间的形式对应来定义学习容量，该容量是对模型有效维度的度量，与 PAC-Bayesian 框架获得的容量概念具有数值上的一致性，是许多基于典型数据集训练的深度网络的参数数量的一小部分，而且取决于训练时使用的样本数量，可以用于
PDFa year ago
AAAI响应性网络压缩中蒸馏质量的控制
本文探讨了如何提高知识压缩的效果，发现教师神经网络的反应质量和相似性信息密切相关，而采用适当的批量和历元数训练教师可以提高知识压缩的效果。
PDF3 years ago