DEEM：扩散模型作为大型语言模型对图像感知的眼睛

May, 2024

DEEM：扩散模型作为大型语言模型对图像感知的眼睛

DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception

Run Luo, Yunshui Li, Longze Chen, Wanwei He, Ting-En Lin...

TL;DR通过使用扩散模型的生成反馈来提高模型的鲁棒性，减少视觉幻觉，并且不需要额外的训练模块和更少的训练参数，DEEM 优于其他交替内容生成模型。

Abstract

The development of large language models (LLMs) has significantly advanced the emergence of large multimodal models (LMMs). While LMMs have achieved tremendous success by promoting the synergy between multimodal

large language models multimodal models out-of-distribution data diffusion models image perception

发现论文，激发创造

大型多模型模型能否揭示图像背后的深层语义？

通过 DEEPEVAL 评估，本研究发现现有的大型多模态模型对深度语义的理解能力与人类存在明显差距，尽管在图像描述方面达到了与人类相媲美的性能。进一步分析表明，推理过程中结合描述文本可以显著增强大型多模态模型对深度语义的感知能力。

Feb, 2024

分析多模态大型语言模型的视觉感知

本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

May, 2024

去扩散使文本成为强大的跨模态接口

我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

Nov, 2023

DEEM: 动态经验专家模型用于立场检测

使用大型语言模型和动态经验专家建模方法（DEEM）改进 LLMs 推理能力，实现更广泛和可靠的多方位分析，在三个标准基准测试中取得最佳结果并减少 LLMs 的偏差。

Feb, 2024

视觉的高效扩散模型：一项调查

本综述主要介绍了最近视觉领域中扩散模型的进展，特别是那些影响扩散模型计算效率的重要设计方面，重点是强调了最近提出的设计选择，这些选择导致更高效的扩散模型。

Oct, 2022

混合潜在扩散

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

使用潜在扩散模型进行高分辨率图像合成

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

利用扩散模型和元提示进行视觉感知

通过引入可学习的嵌入（元提示）来利用扩散模型解决视觉感知任务，我们的方法在深度估计和语义分割任务上取得了新的性能记录，并在 ADE20K 的语义分割和 COCO 数据集的姿态估计等方面达到了与最先进方法相媲美的结果，展示了其稳健性和多功能性。

Dec, 2023

盲逆问题基于潜在扩散先验的研究

通过使用潜在扩散先验，我们提出了一种创新的技术 LatentDEM，用于解决更具挑战性的盲逆问题。该方法核心是在迭代的期望最大化（EM）框架中解决盲逆问题：（1）E 步使用潜在扩散先验和已知的前向模型从损坏的观测中恢复清晰图像，（2）M 步基于恢复的图像估计前向算子。此外，我们提出了两种针对潜在扩散先验和 EM 框架定制的新型优化技术，从而实现更准确高效的盲逆转结果。作为一个通用框架，LatentDEM 支持线性和非线性逆问题。除了常见的 2D 图像恢复任务，它还能在非线性 3D 逆渲染问题中提供新的功能。我们通过在代表性的 2D 盲去模糊和 3D 稀疏视图重建任务上验证了 LatentDEM 的性能，证明其相比之前的方法具有更高的功效。

Jul, 2024

融入视觉专家解决多模态大语言模型中的信息损失

这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

Jan, 2024