LQF：线性二次调优

Dec, 2020

LQF: Linear Quadratic Fine-Tuning

Alessandro Achille, Aditya Golatkar, Avinash Ravichandran, Marzia Polito, Stefano Soatto

TL;DR本文介绍了一种名为 LQF 的线性优化模型，使用 Leaky-ReLU 激活函数、平均平方误差损失函数和 Kronecker 矩阵分解的预处理方式，使得该模型在大多数实际图像分类任务中具有与非线性优化方法相当的性能，且具有线性模型的可解释性和鲁棒性。

Abstract

Classifiers that are linear in their parameters, and trained by optimizing a convex loss function, have predictable behavior with respect to changes in the training data, initial conditions, and optimization. Such desirable properties are absent in deep neural networks (DNNs), typicall

linear classifiers deep neural networks image classification lqf interpretability

发现论文，激发创造

DLCFT：深度线性连续微调在通用增量学习中的应用

本文提出了一种基于预训练表示的持续微调模型的方法，其中使用线性化技术和二次参数正则化策略，可以在图像分类任务中实现高持续微调性能并防止遗忘，并可应用于数据、任务和类增量学习问题。

Aug, 2022

优化量化深度神经网络的微调：基于过滤的预剪枝方法

该研究提出了一种减小深度神经网络 (DNNs) 体积的方法 —— 使用低位表达来量化预训练模型的权重和激活数据，并提出了基于剪枝的新方法 PfQ 来解决深度中间层权重动态范围宽导致的量化误差和准确度下降的问题。

Nov, 2020

预训练 - 微调模式中出现的任务交叉线性

通过线性插值发现预训练 - 微调模型之间的交叉任务线性性，揭示神经网络在参数空间到特征空间的映射机制，提供了关于模型合并 / 编辑的新见解，并强调了预训练的影响因素。

Feb, 2024

QFT：量子化的低资源 LLM 全参数调整

提出了一种名为 QFT 的新型量化全参数调优框架，可以实现内存高效调优而不损害性能。该框架采用高效的 Lion 优化器和整数值量化的模型状态存储方法，并提供了梯度流和参数更新方案。结果表明，QFT 将模型状态内存减少到标准解决方案的 21%，同时达到可比较的性能，例如，调优 LLaMA-7B 模型仅需 30GB 内存，一张 A6000 GPU 即可满足。

Oct, 2023

线性连通性揭示泛化策略

使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。

May, 2022

基于神经网络的二次决策函数分类

本研究探讨了使用二次决策函数的神经网络作为标准神经网络的替代方法，并测试其在手写数字和亚种分类方面在 MNIST 数据集上的表现，并展示了可以使用 Tensorflow 和 Keras 软件进行实现的神经网络结构。

Jan, 2024

Fenchel 提升网络：神经网络训练的 Lagrange 松弛

本文介绍了一种新的 Fenchel lifted networks 的模型，通过等价的双凸约束表示激活函数，并使用拉格朗日乘数对传统神经网络训练问题得出严格下界，使用块坐标下降进行高效训练，并与标准全连接和卷积网络进行比较，证明我们能够匹配或超越其性能.

Nov, 2018

可导编程中的懒惰训练

本文通过理论分析和数值实验，证明了惰性训练现象不仅仅局限于过度参数化的神经网络，同时也适用于其他优化问题，然而，在计算机视觉中，惰性训练并不适用于深度卷积神经网络的训练，这使得惰性训练很可能不是神经网络在高维任务中成功的原因之一。

Dec, 2018

LoftQ: 针对大型语言模型的 LoRA 微调感知量化

我们提出了 LoftQ，这是一个新的量化框架，旨在同时量化 LLM 并为 LoRA fine-tuning 找到适当的低秩初始化，以改善量化和全精度模型之间的差异，并显著提高下游任务的泛化性能。

Oct, 2023

FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示

本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩，同时准确率只有不到 2% 的损失。

Mar, 2022