Mar, 2023

基于量化的后解释

PDF
TL;DR本文提出了一种名为 “通过量化实现的事后解释（PIQ）” 的新方法，用于解释训练分类器所做的决策。通过向量量化将分类器的表示转换为离散的、类特定的潜在空间，类特定的编码簿起到瓶颈作用，迫使解释器专注于被分类器认为与做出预测相关的输入数据的部分。我们通过定量和定性研究评估了我们的方法，并发现当与文献中其他几种解释方法进行比较时，PIQ 生成的解释更容易被我们用户研究的参与者理解。
posthoc interpretationquantizationclassifierslatent spaceinterpretation methods
发现论文，激发创造
  • QTIP: 用格点化和不相关处理的量子化

    QTIP 使用三叶栅编码量化与硬件高效的 “比特移位” 三叶栅结构，实现了具有最先进的量化质量和推理速度的超高维度量化。

    Jun, 2024

  • 基于比较的可解释性机器学习中的反向分类

    本文讨论了在没有任何关于分类器或数据的信息的情况下解释分类器预测的任务，提出了一种基于实例的方法，用于确定改变预测所需的最小改变，并将其实现为使用 Growing Spheres 算法进行观测生成的原则。实验结果表明，该方法具有实用性，并可用于了解分类器。

    Dec, 2017

  • 关于分类的分布式量化

    本文提出了一种分布式量化方案，旨在用训练数据为分类器设计量化器，不需要先验数据假设，而是专注于正确分类，可在任何特征数、任何类别数和任意特征分布的情况下进行多项式时间量化算法的设计。结果表明，将量化器适应于分类任务可以获得显着的节省，并可在保持预测精度不变的情况下将比特通信数量减少超过两倍。

    Nov, 2019

  • 学习向量量化分类器综述

    本文综述了学习向量量化（LVQ）分类器的现状，并提出了一个分类法，集成了迄今最相关的 LVQ 方法。定义了与现代 LVQ 方法相关的主要概念，并使用一个真实世界和两个人工数据集比较了 11 种 LVQ 分类器。

    Sep, 2015

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • 基于信息追踪的可解释图像分类的可解释查询学习

    使用学习的字典和大型语言模型生成的手工制作的字典相比，学习字典显著优于手工制作的字典，通过大型视觉和语言模型的潜在空间，使用可解释的查询解决数据集的问题。

    Dec, 2023

  • 黑盒分类器的信息论视觉解释

    该研究从信息熵角度试图解释任意黑匣子分类器的预测结果，比现有方法提高了量化评价的正确性，通过提供两个信息熵评估指标（信息增益图和逐点互信息图）来分别提供类别无关和类别特定的结果。作者还对 ImageNet 分类器进行了详细分析，并提供了在线代码。

    Sep, 2020

  • 利用 Fisher 核解释黑盒预测

    通过使用 Fisher kernels 和 SBQ 算法，我们提出了一种新的方法来解释黑盒机器学习模型，其可以无限制地处理任何大小的测试数据，包括清理训练数据，修复错误标记的示例和数据总结。

    Oct, 2018

  • QuIP#: 通过哈达玛不相干和格码书更好地 LLM 量化

    在这项研究中，我们引入了权重量化的新方法（QuIP#），通过三个创新技术，在极端压缩模式下（每个权重≤4 位）实现了最先进的结果。QuIP# 通过使用随机哈达玛变换改进 QuIP 的不相干处理，并利用具有不相干权重的球形亚高斯分布来使用向量量化技术。此外，QuIP# 使用微调来提高对原始模型的保真度，实验结果显示其超过了现有的 PTQ 方法，支持快速推理。

    Feb, 2024

  • QUANT: 时间序列分类的极简区间方法

    使用一个特征类型（分位数），固定区间和现成分类器，我们展示了在标准基准数据集上可以实现与现有时间序列分类间隔方法相同的平均准确度。这种间隔方法的提炼在 UCR 档案的 142 个数据集上取得了最先进的准确度，并且只需不到 15 分钟的总计算时间（训练和推理）使用单个 CPU 核心。

    Aug, 2023