Mar, 2024

基于直方图的置换不变网络的量化

PDF
TL;DR本研究探讨了深度神经网络在量化任务中的应用，并提出了适用于量化问题的基于直方图的无重排不变表示的新型神经架构 HistNetQ。通过实验结果表明，HistNetQ 在量化问题上优于其他用于集合处理的深度神经架构和现有的量化方法，具有不需要训练示例的标签但仅需要训练数据集中的流行度值的能力，并且能够优化任何自定义的量化相关损失函数。
发现论文，激发创造
  • 量化问题的在线优化方法

    本研究提出了用于优化量化特定的性能参数的首批在线随机算法，其对于多变量优化的理论具有最优的收敛性，并通过实验验证，相对于现有的算法，能够更好地对性能参数进行优化。

    May, 2016

  • 多元损失函数的文本量化器优化

    本研究旨在探讨采用结构化预测的有监督学习模型解决量化问题，通过在 5500 个二进制高维数据集上实验，证明该方法比现有的量化方法更准确、更稳定、更高效。

    Feb, 2015

  • 二进制量化和数据集变化：实验调查

    在这项研究中，我们通过实验分析了当前的定量化算法在不同类型的数据集偏移下的行为，以识别现有方法的局限性，并为开发更广泛适用的方法铺平道路。我们通过提出细粒度的数据集偏移类型分类，建立受这些偏移类型影响的数据集生成协议，并在生成的数据集上测试现有的定量化方法。研究结果表明，许多已被发现对于先验概率偏移具有鲁棒性的定量化方法对于其他类型的数据集偏移可能不具备鲁棒性。此外，没有发现任何现有的定量化方法能够对我们在实验中模拟的所有数据集偏移类型具备足够的鲁棒性。

    Oct, 2023

  • 多类定量的核密度估计

    我们在本文中提出了一种基于核密度估计的多元密度表示机制，称为 KDEy，通过实验证明 KDEy 在量化性能上优于现有的分布匹配方法，并与目前在量化领域中的最强竞争者期望最大化方法展开比较。

    Dec, 2023

  • 现场量化：数据集和基准

    本研究在野外应用于海洋生态学两个大规模数据集，并研究了文献中的若干量化方法，特别是表明了在有限的数据下深度神经网络可以胜过其他方法。

    Oct, 2015

  • 面向半监督图像检索的广义产品量化网络

    本研究提出了基于泛化乘积量化网络的半监督图像检索方案，通过设计新颖的度量学习策略提高量化网络的泛化能力，实现了对标记和未标记数据的充分利用，并在大规模图像基准数据集上展示了最先进的性能。

    Feb, 2020

  • 深度神经网络中基于潜空间统计推断的不确定性量化

    本文提出了一种新的算法，通过利用深度神经网络分类器中数据点的潜在空间表示来评估其预测的准确性，该方法可以检测出分布之外的数据点被不正确地预测，从而有助于自动检测异常值。

    May, 2023

  • AutoQ: 自动化的基于内核的神经网络量化

    本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

    Feb, 2019

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • EPTQ：通过无标签海森矩阵增强的后训练量化

    本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。

    Sep, 2023