- ME-Switch: 大型语言模型的内存高效专家切换框架
ME-Switch 是一种用于 LLM 提供的高效内存专家切换框架，通过混合精度量化，选择性地对非显著输入通道进行极低位量化，同时保持显著通道完整，从而显著减少存储需求并保持性能；此外，我们还开发了一种路由方法，通过将模型选择问题转化为领域 - MixDQ: 高效节省内存的几步文本到图像扩散模型与度量分离混合精度量化
通过开发一种混合精度量化框架 MixDQ，我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计，通过度量解耦灵敏度分析来衡量每一层的敏感度，最后通过基于整数规划的方法进行位宽分配，与现有的量化方法相比，MixDQ 在保持 W8A8 - BiSup：大型语言模型的双向量化误差抑制
通过构建适当的优化参数空间，BiSup 利用少量的数据进行量化感知参数优化，从而抑制错误的垂直积累，并采用高精度的提示混合精度量化策略以减轻错误的水平扩散。
- AdaQAT：自适应比特宽度量化感知训练
本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet - MPTQ-ViT：VisionTransformer 的混合精度后训练量化
提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageN - 基于价值驱动的混合精度量化在微控制器上进行基于补丁的推理
提出了一种名为 QuantMCU 的新的基于补丁的推断方法，利用价值驱动的混合精度量化来减少冗余计算。通过利用 Value-Driven Patch Classification（VDPC）和 Value-Driven Quantizati - 一次性权重耦合学习的无需重新训练的模型量化
通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。
- 资源受限异构设备上的联邦学习的混合精度量化
引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。
- MetaMix: 混合精度激活量化的元状态精确搜索器
提出了一种名为 MetaMix 的新方法，通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题，其通过降低混合精度量化中的激活不稳定性，实现快速、高质量的位选择，而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调，从而提供快 - ICCVEMQ：演化的基于训练无关替代方法的自动混合精度量化
Mixed-Precision Quantization (MQ) 模型的精度与复杂度之间实现了有竞争力的权衡。我们提出了一种自动搜索代理的框架 (EMQ)，通过进化算法发现与 MQ 最相关的代理，实现了代理的自动生成，并在 ImageNe - 自由比特：边缘上混合精度量化神经网络的延迟优化
该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评 - Vision Transformer 的补丁混合精度量化
本文提出了一种基于 patch 的混合精度量化方法，用于 ViTs 神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于 ViTs 变得容易 - 基于混合强化学习的数据质量感知混合精度量化
本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对 - FIT: 模型敏感性度量
本文提出了一种利用 FIT 方法对深度学习模型进行量化计算的方法，该方法结合了 Fisher 信息和量化模型，能够有效地估计网络的最终性能，并且可用于不同层级和混合精度的量化配置，以提高模型的压缩效率。
- MMFPGA 上高吞吐量混合精度 CNN 加速器设计
本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。
- ECCV通过学习每层重要性进行混合精度神经网络量化
该研究提出利用量化器中的可学习参数作为量化精度重要指标，通过一次整数线性规划来确定混合精度量化的最佳位宽以提高时间效率，并在多种模型中实现了 SOTA 精度。
- ICCV通过归因排名保护实现通用混合精度量化
本文提出了一种可推广的混合精度量化方法，用于高效推理，利用网络归因排名保持一致性搜索混合量化策略，实现与现有混合精度网络相比具有较强的准确性和复杂度的竞争性性能，同时大大降低了搜索成本。
- ICML通过 2 位激活压缩训练减少训练内存占用的 ActNN
本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 - ICLRBSQ：探索混合精度神经网络量化的比特级稀疏性
提出了比特级稀疏量化法（BSQ），通过引入可微比特稀疏正则化，考虑量化权重的每一位作为一个独立可训练变量，实现了每组权重元素的全零位诱导以及实现动态精度降低，使得在 CIFAR-10 和 ImageNet 数据集上相对于以往方法，BSQ 在 - ECCV一个比特宽度统治全球
本论文通过对模型宽度乘数的使用，研究了深度卷积神经网络中权重量化的最佳位宽选择，发现使用单一位宽比混合精度量化对模型压缩更优。