用于室内全景高动态范围 HDR 照明估计和编辑的新光照估计和编辑框架，从一张低动态范围 LDR 相机拍摄的单个有限视场 LFOV 图像生成高动态范围 (HDR) 的室内全景照明。该框架结合了 LDR 和 HDR 全景合成，使用了 LFOV - 全景和 LDR-to-HDR 光照生成方法，提出了一种耦合双 StyleGAN 全景合成网络 (StyleLight)，并且在室内 HDR 全景照明估计方面表现出优秀的性能。

Jul, 2022

利用 EdgeRelight360，我们提出了一种在移动设备上实时进行视频肖像照明的方法，利用文本调控生成 360 度高动态范围图像（HDRI）。该方法在 HDR 领域中提出了一种基于扩散的文本到 360 度图像生成技术，利用了 HDR10 标准，从文本描述中产生高质量、逼真的照明条件，为肖像视频照明任务提供了灵活性和控制性。与以往的照明框架不同，我们提出的系统可直接在设备上进行视频照明，实现对真实 360 度 HDRI 图像的实时推断。这种设备上的处理确保了隐私并保证了低运行时间，对于光照条件或用户输入的变化提供了即时响应。我们的方法为实时视频应用开辟了新的可能性，包括视频会议、游戏和增强现实，在光照条件方面允许动态、基于文本的控制。

Apr, 2024

本研究提出了一种将参数化的灯光模型与 360 度全景图相结合的方法，该方法使用最新的基于 GAN 的 LDR 全景图延伸技术，提供可编辑的室内外环境下的 HDR 灯光，从而实现建模的高度逼真性和场景编辑的易用性。

Apr, 2023

通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。

Apr, 2024

基于扩散模型的个性化文本到图像（T2I）合成已经引起了最近研究的广泛关注，然而现有的方法主要集中在定制主题或风格上，忽视了全局几何的探索。本研究提出了一种集中于 360 度全景定制的方法，使用 T2I 扩散模型，它在本质上具有全局几何特性，通过精心制作的图像 - 文本配对数据集进行微调，最终采用 LoRA 进行训练。实验证明了我们定制的模型与所提出的 StitchDiffusion 相结合在生成高质量的 360 度全景图像方面的有效性。此外，我们的定制模型在产生未在微调数据集中见过的场景方面表现出卓越的泛化能力。

Oct, 2023

我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

Apr, 2024

DetText2Scene 是一种新颖的文本驱动大规模图像合成方法，具有高度的忠实度、可控性和自然性，在全局范围内实现了对详细人类中心化文本描述的合成。

Nov, 2023

本文提出了一种基于学习的方法，通过手机相机拍摄的低动态范围图像推断出高动态范围、全方位光照。通过使用不同反射功能材料在单个曝光中显示不同的光照提示，我们训练深度神经网络从低动态范围背景图像回归到 HDR 照明。通过图像重照操作，我们与预测光照匹配，实现了渲染虚拟物体进入现实环境中。与现有技术相比，我们对自动曝光和白平衡视频进行训练，提高了室内外场景渲染对象的真实感。

Apr, 2019

本文介绍了零样本文本引导下的开放领域图像超分辨率探索问题，提出了两种零样本文本引导超分辨率的方法，涉及生成过程、扩散模型和恢复方法，实现了匹配语义意义并保持数据一致性的多样解决方案，优化了极端超分辨率任务的恢复质量、多样性和可探索性。

Mar, 2024

介绍了一种利用光度计经过校准的高动态范围全景图数据集的方法，可用于在计算机视觉任务中更准确地估计室内场景中的像素亮度、颜色温度和照明情况。

Apr, 2023