Sep, 2023

$L_{2,1}$- 范数正则化四元数矩阵补全的稀疏表示和四元数 QR 分解

PDF
TL;DR颜色图像完成是计算机视觉中的一个具有挑战性的问题，近期的研究表明，四元数表示的彩色图像在很多领域表现出色。我们提出一种基于四元数卡塔尔里亚尔分解（QQR）和四元数 L2,1 范数的方法，称为 QLNM-QQR。我们在 QLNM-QQR 方法上还提出了两个改进，包括使用迭代重新加权的四元数 L2,1 范数最小化的增强版本 IRQLNM-QQR 和集成稀疏正则化的方法 QLNM-QQR-SR。我们对自然彩色图像和彩色医学图像进行的实验表明，IRQLNM-QQR 优于 QLNM-QQR，并且所提出的 QLNM-QQR-SR 方法优于几种最先进的方法。
color image completionquaternion representationslow-rank quaternion matrix completionqlnm-qqrsparse regularization
发现论文，激发创造
  • 一种用于彩色视频修复的新型低秩鲁棒四元数张量补全算法及其快速实现

    本文介绍了一种新的鲁棒四元数张量完成模型来解决彩色视频修补问题，并给出了精确的恢复原理，这种模型非常有效地恢复了满足先验低秩假设的高维数据，通过数值实验验证，该方法成功地恢复了彩色视频，消除了颜色污染，保持了视频连续性，并提供了比现有算法更高的 PSNR 和 SSIM 值。

    Jun, 2023

  • 一种经过理论保证的四元数加权 Schatten p - 范数最小化方法用于彩色图像恢复

    该论文提出了一种基于四元数的加权核范数最小化和加权谱范数最小化方法来解决彩色图像恢复问题，并通过实验证明该方法在彩色图像去噪和去模糊等任务上表现优秀，同时也对该方法进行了理论收敛性分析。

    Jul, 2023

  • 四元数张量环分解及其在彩色图像修复中的应用

    在本文中，我们提出了四元数张量环（QTR）分解，它继承了张量环分解的强大和广义表示能力，同时利用四元数在颜色像素表示方面的优势。除了提供 QTR 分解的定义和学习 QTR 格式的算法外，本文还提出了一种基于 QTR 分解的低秩四元数张量补全（LRQTC）模型和用于颜色图像修复的算法。最后，对颜色图像修复进行了大量实验证明所提出的 QTLRC 方法具有很高的竞争力。

    Jul, 2023

  • 利用杠杆采样和张量 QR 分解进行张量补全以进行网络延迟估计

    本文提出了一种新的方法，通过改进张量采样策略和引入张量 QR 分解来加速张量完成，以更快地进行网络延迟估计，同时保持高准确性。我们使用张量 $L_{2,1}$- 范数来完成不完整的张量并将张量 QR 分解引入到 ADMM 框架中。数值实验表明，我们的方法比现有算法更快，准确性令人满意。

    Jun, 2023

  • LQ-LoRA: 用于语言模型微调的低秩加量化矩阵分解

    我们提出了一种简单的方法来对预训练语言模型进行内存高效的适应。我们的方法使用迭代算法将每个预训练矩阵分解成高精度低秩部分和内存高效的量化部分。在微调过程中，量化部分保持固定，只有低秩部分被更新。我们提出了量化部分的整数线性规划形式，可以在总体存储器预算的情况下动态配置量化参数（例如，位宽，块大小）给每个矩阵。我们进一步探索了数据感知版本的算法，该算法使用 Fisher 信息矩阵的近似来加权矩阵分解过程中的重构目标。在适应 RoBERTa 和 LLaMA-2（7B 和 70B）的实验中，我们的低秩加量化矩阵分解方法（LQ-LoRA）优于 QLoRA 和 GPTQ-LoRA 基准，并且能实现更激进的量化。例如，在 OpenAssistant 基准测试中，LQ-LoRA 能够学习一个 2.5 位的 LLaMA-2 模型，与使用 4 位 QLoRA 微调的模型竞争。在语言建模校准数据集上微调时，LQ-LoRA 还可以用于模型压缩；在这种情况下，我们的 2.75 位 LLaMA-2-70B 模型（考虑了低秩部分的平均位数，并且需要 27GB 的 GPU 内存）与原始模型在全精度上竞争。

    Nov, 2023

  • 图像去噪和背景减除的加权 Schatten p - 范数最小化

    本研究提出了一种更灵活的模型，称为加权 Schatten p - 范数最小化，用于恢复低秩矩阵。该模型不仅提供了更好的低秩矩阵逼近，并且考虑了不同秩分量的重要性。使用加权 Schatten p - 范数最小化在低级视觉问题（如图像去噪和背景减法）方面，相对于现有方法，可以更有效地去除噪声，对复杂和动态场景进行建模。

    Dec, 2015

  • SpQR: 一种稀疏量化表示法，用于近无损 LLM 重量压缩

    通过 Sparse-Quantized Representation（SpQR）压缩 LLMs，提出全新的压缩格式和量化技术，通过将所有其他权重压缩到 3-4 位并将异常权重以高精度存储以解决精度问题，既能保存模型的准确性，又能达到先前方法相似的压缩水平，该方法的运行速度要比 16 位基线快，并实现超过 4 倍的内存压缩收益。

    Jun, 2023

  • 彩色图像恢复的新型跨领域全变差正则化模型与四元模糊操作符

    给出一个新颖的交叉空间全变分（CSTV）正则化模型，通过引入四元数模糊算子和交叉颜色空间正则化函数，解决了彩色图像去模糊过程中复杂的耦合和结构模糊问题，并通过应用新的 L 曲线方法，能够找到不同颜色空间上正则化函数的平衡点。对彩色图像数据库的数值实验证明了该模型和算法的高效性和可操控性，其修复的彩色图像成功保持了颜色和空间信息，且在 PSNR、SSIM、MSE 和 CIEde2000 等指标上比现有方法的修复结果质量更高。

    May, 2024

  • QRkit：用于计算机视觉问题的稀疏可组合 QR 分解的高效和稳定解决方案

    针对嵌入式计算机视觉应用中使用单精度浮点数的情况，提出了一种名为 QRkit 的基于 QR 分解的稀疏求解器集合，适用于一些常见的计算机视觉稀疏模式，解决了单精度下精度丢失的问题，并在实验中取得了竞争性能。

    Feb, 2018

  • 基于数据驱动的双边广义二维四元数主成分分析及其在人脸颜色识别中的应用

    本文提出了一种新的数据驱动双边广义二维四元数主成分分析方法 (BiG2DQPCA)，并运用其进行彩色人脸识别和图像重建，实验结果表明，该方法在识别准确性和图像重建率方面均优于现有方法

    Jun, 2023