Mar, 2024
CCC++：基于分段任意建模（SAM）增强的物体选择性颜色协调的优化彩色分类上色
CCC++: Optimized Color Classified Colorization with Segment Anything
Model (SAM) Empowered Object Selective Color Harmonization
TL;DR本研究提出了一种基于多项式分类问题的上色方法，并应用加权函数于类别，通过将颜色值转换为颜色类别及其逆转换的一系列公式，优化了颜色类别转换的不同bin尺寸。在实际应用中，通过观察类别外观、标准差和模型参数，基于大规模实时图像，我们为分类任务提出了532种颜色类别。同时，在训练过程中，我们提出了一种基于每批次真实类别外观的类别加权函数，以确保正确饱和个别对象。我们调整了较频繁观察到的主要类别的权重，通过降低它们的权重，同时提高较少常见的次要类别的权重。我们的类别重新权重函数中提出了一个超参数，用于找到主要和次要出现类别之间的最佳折衷。为了增强次要类别的稳定性，我们应用正则化方法，但在对象的边缘可能会出现偶发的次要噪点。因此，我们提出了一种由Segment Anything Model（SAM）强化的新颖的对象选择性颜色均衡方法，以改进和增强这些边缘。此外，我们还提出了两个新的颜色图像评估指标：色彩类别激活比率（CCAR）和真实激活比率（TAR），以量化颜色分量的丰富性。我们通过在六个不同数据集上进行定性和定量比较，包括Place，ADE，Celeba，COCO，Oxford 102 Flower和ImageNet，将我们提出的模型与现有模型进行了比较。实验结果表明，我们的模型在可视化、CNR以及我们提出的CCAR和TAR测量指标方面优于其他模型，同时在回归（MSE，PSNR）、相似度（SSIM，LPIPS，UIUI）和生成性能（FID）方面表现仍是令人满意的。