压缩模型解压种族偏见：公正人脸识别中量化模型忽略的内容

Aug, 2023

压缩模型解压种族偏见：公正人脸识别中量化模型忽略的内容

Compressed Models Decompress Race Biases: What Quantized Models Forget for Fair Face Recognition

Pedro C. Neto, Eduarda Caldeira, Jaime S. Cardoso, Ana F. Sequeira

TL;DR研究探讨了使用合成数据进行量化方法时，整体性能、各种族细分性能和种族偏见，对深度学习模型在人脸识别中的应用进行压缩的潜在好处，对大多数测试场景的偏差减少等方面进行了分析。

Abstract

With the ever-growing complexity of deep learning models for face recognition, it becomes hard to deploy these systems in real life. Researchers have two options: 1) use smaller models; 2) compress their current models. Since the usage of smaller models might lead to concerning biases,

deep learning models face recognition compression bias quantization

发现论文，激发创造

模型压缩对面部表情识别公平性的影响

该研究研究了模型压缩技术对面部表情识别模型大小、准确性和公平性的影响，结果表明针对性的技术对模型大小有明显减小效果，对准确性几乎没有影响；对于不同的数据集，受敏感属性的影响不同，作者们对结果进行了分析并讨论了发现的潜在原因。

Jan, 2022

生物识别应用中的模型压缩技术综述

深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存成本，同时又能保持较高的性能。本文通过对模型压缩技术的综述，特别关注量化、知识蒸馏和修剪等方法在生物特征识别应用中的应用，从而对该领域的研究现状进行了系统化总结。我们对这些技术的比较价值进行了关键分析，着重讨论了它们的优点和缺点，并提出了进一步研究方向的建议，以改进当前的方法。此外，我们还讨论和分析了模型偏见与模型压缩之间的联系，强调了未来的研究需要将压缩技术引向模型公平性的方向。

Jan, 2024

大型语言模型中模型压缩对社会偏见的影响理解

大型语言模型通过自我监督在大规模网络文本上进行训练，模型对文本的社会偏见进行了合适的拟合。尽管需要介入以减轻预训练过程中学到的不适当的社会偏见对模型预测结果的影响，但在这两个方法之间的相互作用方面，目前的研究工作还不充分。本研究对量化和知识蒸馏的模型压缩方法在语言模型的社会偏见衡量方面进行了仔细的对比研究，结果表明，较长的预训练时间和较大的模型会导致更高的社会偏见，而量化方法在约为原始预训练时间的 20% 处展现了最佳的折衷效果。

Dec, 2023

Ef-QuantFace: 精简的小数据和低比特精度人脸识别

该研究论文介绍了一种以高效为驱动的模型量化方法，使用比传统方法小 440 倍的数据集进行微调，通过引入评估基于指标的损失，该方法在 IJB-C 数据集上实现了 96.15% 的准确率，建立了面部识别领域新的压缩模型训练的最新技术。

Feb, 2024

知识内含：无数据模型压缩方法

本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

Dec, 2019

压缩模型偏差特征分析

该论文探讨了神经网络压缩技术所产生的 Compression Identified Exemplars（CIE）对算法偏差的影响，并提议将 CIE 作为人类审核工具，以检查数据集中最具挑战性的示例。

Oct, 2020

揭示图像扭曲对预训练人脸识别模型预测偏差的影响

本文旨在探讨预训练模型在输入图像扭曲时是否会出现偏向性。通过对四个深度人脸识别模型在图像扭曲下不同性别和种族子群的表现进行系统分析，我们发现图像扭曲与模型在不同子群之间的性能差距存在关联。

Aug, 2021

模型压缩的失真率研究：从理论到实践

本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

Oct, 2018

深度神经网络模型压缩与加速综述

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023