accuracy loss | BriefGPT - AI 论文速递

关键词accuracy loss

搜索结果 - 10

基于偏倚和去偏倚的方法实现公平知识传递，用于公平皮肤分析
基于深度学习模型的皮肤疾病诊断中，为了解决公平性问题且不损害预测准确性，我们提出了一种基于两个偏倚的教师模型的方法，通过权重损失函数进行偏倚与去偏倚的训练，提高了模型的准确度和公平性。
PDF2 months ago
海报：自监督量化感知知识蒸馏
本研究提出了一种自监督量化感知知识蒸馏框架 (SQAKD)，可同时最小化 KL-Loss 和离散化误差，显著提升各种最先进的量化感知训练方法的性能。
PDF9 months ago
OSP：通过 2 阶段同步提高分布式模型训练效率
本研究旨在提出一种新的模型同步方法，名为 Overlapped Synchronization Parallel (OSP)，通过使用 2 级同步方法和基于局部梯度的参数校正 (LGP)，以达到有效的通信，避免丢失梯度导致的精度损失，并在测
PDFa year ago
MMCHAMP: 一种相干的硬件感知的光子集成神经网络稀疏化方法
本文提出了一种新颖的针对相干光子神经网络的硬件感知幅值剪枝技术，该技术可以剪枝掉网络参数的 99.45％，并将静态功耗降低了 98.23％，同时精度损失可以忽略不计。
PDF3 years ago
ICML通过 2 位激活压缩训练减少训练内存占用的 ActNN
本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了
PDF3 years ago
神经元合并：补偿剪枝的神经元
本研究提出了一种新的神经元合并方法，通过分解原始权重矩阵，使用一个被称为缩放矩阵的指导矩阵来引导神经元的组合，以补偿由网络剪枝所导致的信息损失，并在各种模型结构和数据集上证实了本方法的有效性。
PDF4 years ago
黑盒翻录器：使用生成式进化算法复制黑盒模型
本文研究如何通过使用 teacher-student 的框架，以及应用进化策略来生成训练数据样本，以最小化准确率损失，从而复制黑盒神经模型的功能，并且在三个基准数据集上将我们的框架与几种基线和最先进方法进行了比较。
PDF4 years ago
使用 Kronecker 乘积将 RNN 压缩 15-38 倍，用于 IoT 设备
本文介绍了一种使用 Kronecker 乘积（KP）的方法来压缩适用于资源受限环境中的循环神经网络（RNN），KP 可以使 RNN 层的压缩率达到 15-38x，并且通过将其量化为 8 位可以进一步提高压缩因子至 50 倍，同时提高推断运行
PDF5 years ago
SinReQ：低比特宽度深度量化训练的广义正弦正则化
本文介绍了一种新的正弦正则化方法 - SinReQ1，它能有效地解决通过深度量化神经网络存在的精度损失问题，对多种深度量化训练算法的作用具有通用性和灵活性，并且能够改善 DoReFa 和 WRPN 的绝对精度。
PDF5 years ago
卷积神经网络加速的结构化概率裁剪
本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确
PDF7 years ago