SemFlow：通过修正流将语义分割和图像合成绑定在一起

May, 2024

SemFlow：通过修正流将语义分割和图像合成绑定在一起

SemFlow: Binding Semantic Segmentation and Image Synthesis via Rectified Flow

Chaoyang Wang, Xiangtai Li, Lu Qi, Henghui Ding, Yunhai Tong...

TL;DR基于扩散的统一框架（SemFlow）将语义分割和语义图像合成作为一对相反问题，通过训练一个常微分方程（ODE）模型在真实图像和语义掩码的分布之间进行传输，解决了扩散输出的随机性与分割结果唯一性之间的矛盾，同时提升生成结果的多样性，该框架在语义分割和语义图像合成任务上取得了有竞争力的结果，希望能激发人们重新思考低级和高级视觉的统一。

Abstract

semantic segmentation and semantic image synthesis are two representative tasks in visual perception and generation. While existing methods consider them as two distinct tasks, we propose a →

semantic segmentation semantic image synthesis unified diffusion-based framework ordinary differential equation (ode) model low-level and high-level vision

发现论文，激发创造

流线型迅速：学会使用修正流生成和转移数据

我们介绍了修正流 (即沿最短路径连接两个分布的神经常微分方程模型) 的概念及其在各种相关任务中的应用，它能够为生成建模和域迁移等提供统一解决方案，并且在图像生成、图像翻译和域适应方面表现出优秀的性能。

Sep, 2022

语义流：从单目视频中学习动态场景的语义领域

本文中，我们提出了 Semantic Flow，一种从单 ocular videos 中学习动态场景的神经语义表示。与以往的 NeRF 方法不同，它通过包含丰富的三维运动信息的连续流来学习语义。我们考虑从二维视频帧中提取三维流特征时视线方向上的二维到三维模糊问题，将体积密度视为描述流特征对帧语义贡献的不透明度先验。我们首先学习流网络预测动态场景中的流，并提出流特征聚合模块从视频帧中提取流特征。然后，我们提出流注意模块从流特征中提取运动信息，随后是语义网络输出流的语义 logits。我们将 logits 与视线方向上的体积密度相结合，以在视频帧上监督流特征与语义标签的学习。实验结果表明，我们的模型能够学习多个动态场景，并支持一系列新任务，如实例级场景编辑、语义补全、动态场景跟踪和对新场景的语义适应。可在此 https URL 获取代码。

Apr, 2024

SFNet: 学习物体感知的语义对应性

通过使用二进制前景蒙版和几何变形训练卷积神经网络（CNN）实现语义对应的密集流场，提出了一种新的 CNN 框架 SFNet，并在各项基准测试中表现出比现有方案更好的泛化性能。

Apr, 2019

文本到图像矫正流作为即插即用的先验

大规模扩散模型在生成任务中取得了显著的性能。矫正流是一种新的生成模型类别，在各个领域展现出了优越的性能。通过理论和实验证据，我们展示了基于矫正流的方法与扩散模型具有相似的功能，可以作为有效的先验。此外，基于矫正流的先验方法在图像反转方面表现出优越的性能。

Jun, 2024

改进校正流的训练

改进的矫正流训练方法在低 NFE 下能够与知识蒸馏方法竞争，实现了较高的图像生成质量和性能。

May, 2024

通过门控循环流传播进行语义视频分割

本文提出了一种利用未标记数据改进的视频语义分割训练模型，该模型结合了卷积架构和时空转换器循环层，并能够通过光流适应性地门控使时间上的标记信息传递，模型通过未标记帧来改善视频分割准确性，并在基于多个深度架构中进行了广泛实验。

Dec, 2016

EmerDiff：扩散模型中的新兴像素级语义知识

使用稳定扩散模型从特征图中提取语义信息，构建高分辨率细分割地图，以展示像素级语义知识的存在。

Jan, 2024

切换流匹配：通过切换 ODE 来消除奇异性

通过使用切换的普通微分方程 (ODEs) 来消除奇点问题，我们提出了一个更通用的框架，Switched FM (SFM)，以解决连续时间生成模型中的采样速度缓慢的问题，并演示了该框架的有效性。

May, 2024

SegFlow: 视频目标分割和光流联合学习

本文提出了一种端到端可训练网络 SegFlow，用于同时预测视频中逐像素对象分割和光流，并通过统一框架双向传播对象分割和光流的有用信息。实验证明，引入光流可提高分割性能，同时改善了最先进算法的结果。

Sep, 2017

高分辨率图像合成的缩放修正流变压器

对于高维感知数据，扩散模型生成通过将数据从噪声逆向转换而得，并已成为一种强大的生成建模技术。最近，矫正流是一种将数据和噪声连接在一条直线上的生成模型表达形式。本研究通过偏向感知相关尺度来改进现有的噪声采样技术，以训练矫正流模型。通过大规模研究，我们证明了这种方法相对于已有的扩散公式在高分辨率文本到图像合成方面的优越性能。此外，我们提出了一种基于 Transformer 的文本到图像生成架构，该架构利用了两种模态的不同权重，并实现了图像和文本记号之间的双向信息流，从而改善了文本理解、排版和人体偏好评级。我们证明了这种架构遵循可预测的扩展趋势，并通过各种度量标准和人体评估来证实验证损失越低，文本到图像合成越好。我们的最大模型超过了现有的最先进模型，我们将公开我们的实验数据、代码和模型权重。

Mar, 2024