关键词neural network performance
搜索结果 - 5
- 探索锐化余弦相似度
我们的工作中，我们探讨了 Sharpened Cosine Similarity（SCS）参数的行为和潜力，并且研究了在多个卷积神经网络结构中用 SCS 替换卷积的效果。我们发现，虽然 SCS 可能不会显著提高准确性，但可能会学习到更易解释 - AAAIAIO-P：将神经性能预测器扩展到图像分类之外
本文提出一种全新的 All-in-One Predictor (AIO-P) 来有效地预测多个计算机视觉任务下的深度学习模型的性能表现，并采用多领域神经网络结构，以及知识融入技术，经过大量的实验证明，该方法可以为新架构的预测和决策提供有力支 - 自回归生成建模的规模定律
通过研究生成式图像建模、视频建模、多模式图像与文本模型和数学问题求解等四个领域，我们发现交叉熵损失的实证缩放定律，指出自回归变压器在性能上平滑提高，其最佳模型大小还受到计算预算影响，同时也寻找到了特定领域的进一步扩展规律。这些结果加强了缩放 - ICLR只需一个良好的初始化
提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的 - 评估深度神经网络学习的可视化
本文提出了一种可视化深度神经网络分类决策的方法，使用基于区域扰动的方法评估热图，并比较了三种不同方法计算的热图对网络分类决策的解释力，结果发现基于层级相关传播方法对解释分类决策的效果更好。同时，本文还探讨了利用热图进行神经网络性能无监督评估