Dec, 2023

RefineNet: 通过分层 Transformer 和渐进细化提高高分辨率和细节准确性的文本到图像转换

PDF
TL;DR我们介绍了 RefineNet，这是一种新颖的架构，旨在解决文本到图像转换系统中分辨率限制的问题。我们探讨了从文本描述生成高分辨率图像的挑战，重点关注详细准确性和计算效率之间的权衡。RefineNet 利用层次化 Transformer 结合渐进和条件改进技术，在生成详细、高质量图像方面优于现有模型。通过对多样数据集进行广泛实验，我们展示了 RefineNet 在清晰度和分辨率上的优势，特别适用于复杂图像类别如动物、植物和人脸。我们的工作不仅推动了图像到文本转换领域的发展，还为各种应用中高保真图像生成开辟了新的途径。
refinenettext-to-image conversionresolution limitationshigh-resolution imageshierarchical transformer
发现论文，激发创造
  • RefineNet: 高分辨率语义分割的多路径细化网络

    本文介绍了一种基于残差连接和多通道上采样的多路径细化网络 RefineNet，能够通过利用深度学习卷积神经网络中的所有信息来对图像进行高精度的预测和语义分割，该方法通过在深度网络中进行残余连接来有效地进行端到端的训练，并应用在七个公共数据集中取得了最优结果。

    Nov, 2016

  • G-Refine：一种用于文本到图像生成的通用质量优化器

    通过引入 G-Refine 模型，本研究提出了一种通用图像质量修复方法，能够提高低质量图像的质量，同时不损害高质量图像的完整性，实验证明与传统方法相比，经过 G-Refine 处理的 AI-Generated Images 在多个质量指标上有显著改善。

    Apr, 2024

  • 标签细化：通过标签进展提升 ImageNet 分类效果

    本文研究标签的一些属性对于监督学习算法的挑战，介绍了 Label Refinery，这是一个迭代的过程，可以在检查整个数据集后更新基本事实标签。作者发现，使用精炼标签可以提高各种模型的准确性，如 AlexNet、MobileNet 和 VGG19 等。

    May, 2018

  • 粗到细语义分割的标签优化网络

    本文提出了一种基于深度卷积神经网络的语义图像分割方法，使用标签精炼网络在多个分辨率上粗到精地预测分割标签，并在网络的多个阶段定义了损失函数以提供不同的监督信号。实验结果表明该模型可以有效地进行像素级密集标注。

    Mar, 2017

  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020

  • Refine-Net: 噪声点云的法向量优化神经网络

    本文提出一种名为 Refine-Net 的法线细化网络，通过从多个特征表示中提取更多信息并结合一种新的连接模块设计来预测嘈杂点云的准确法线，并使用一种新的多尺度贴合补丁选择方案来进行初始法线估计。该网络是一种通用的法线估计框架。

    Mar, 2022

  • Q-Refine：AI 生成图像的感知质量精修器

    通过引入图像质量评估指标和三个自适应流程，Q-Refine 提供了一种通用的图像精细化处理方法，可以对不同质量的 AI 生成图像进行有效优化，从而扩大了 T2I 生成模型的应用。

    Jan, 2024

  • CRNet：一种用于统一图像恢复和增强任务的细节保持网络

    本研究提出了一种使用多曝光图像的复合细化网络（CRNet），通过完全整合信息丰富的多曝光输入，实现统一的图像恢复和增强，通过池化层显式分离和加强高低频信息，使用特殊设计的多分支块有效融合这些频率，通过大卷积核和反向瓶颈 ConvFFN 的高频增强模块，扩大感受野并充分整合输入特征，本模型在 Bracketing 图像恢复和增强挑战赛的第一轨上获得了第三名，在测试指标和视觉质量上超过了先前的 SOTA 模型。

    Apr, 2024

  • 通过放大变换器提升高分辨率图像分类

    通过数据分析、选择强基线模型、迁移学习、数据增强和测试时间增强等综合方法，我们在 ICCV/CVPPA2023 深度养分缺乏挑战赛中获得第二名，以高分辨率图像分类为主要研究内容。

    Sep, 2023

  • RefineCap: 图像字幕的概念感知细化

    该论文提出了一种新型模型 RefineCap，使用解码器引导的视觉语义来完善语言解码器的输出词汇，并隐式地学习图像与视觉标签词之间的映射，其提出的视觉概念完善方法可允许生成器关注图像中的语义细节，从而生成更具有语义描述性的标题。在与以前基于视觉概念的模型相比，我们的模型在 MS-COCO 数据集上实现了优越的性能。

    Sep, 2021