NIVeL: 文本到向量生成的神经隐式向量层
通过设计双分支变分自编码器 (VAE) 的神经路径表示,我们提出了一种新颖的神经路径表示,从序列和图像模态中学习路径潜在空间,通过优化神经路径的组合,我们可以在生成的 SVG 中融入几何约束的同时保持表达力。此外,我们引入了一种两阶段路径优化方法,用于改进生成的 SVG 的视觉和拓扑质量。
May, 2024
该研究使用扩散模型和分数蒸馏采样,通过对像素图像的文本条件训练生成可导出为 SVG 的矢量图形,并在优化可微分的矢量图形栅格化器方面实现了语义知识的提取,实验结果表明其较之于过去的工作具有更高的生成质量和更丰富的样式,包括像素艺术和手绘图。
Nov, 2022
本文研究了稠密分布式文本数据表示的两种新型神经模型:一种用于学习文档级表示,另一种用于学习词级表示。我们提出的模型分别在信息检索和语义关系识别等任务中优于现有方法,并且直接从原始文本数据中学习嵌入。其中,词级表示模型不同于以往的模型,可以用梯度下降算法进行训练。
Jan, 2019
本文提出了一种新的 3D 表示方法,神经向量场(NVF),该方法充分利用了显式学习过程和隐式函数表示的强大表示能力,通过从查询向表面预测位移并使用矢量场对形状进行建模来打破分辨率和拓扑中的障碍,进而提出了一个基于矢量量化的形状代码本学习方法,最终实现了在不同的评价场景下优于最先进方法的结果,包括完整及非完整形状的构建、类别特定和类别不可知构建、类别未知构建和跨域构建。
Mar, 2023
本研究提出了一种新的渐进式图像矢量化技术,旨在生成层次化的矢量,以从粗糙到细节层次逐渐表示原始图像。我们的方法引入了语义简化,结合了分数蒸馏采样和语义分割,来迭代地简化输入图像。随后,我们的方法针对每个逐步简化的图像优化矢量层。我们的方法提供了稳健的优化,避免了局部极小值,并能够调整最终输出中的细节级别。层次化、紧凑的矢量表示增强了进一步编辑和修改的可用性。与传统的矢量化方法进行对比分析显示了我们技术在产生高视觉保真度矢量以及保持矢量的紧凑性和可管理性方面的优越性。
Jun, 2024
我们提出了一种新颖的方法,用于从多个图像中进行 3D 物体表面重建,其中只捕获了物体的一部分。我们的方法基于两个最新发展:使用神经辐射场进行表面重建,用于重建表面的可见部分,以及使用预训练的 2D 扩散模型的指导(SDS)完成未观察到的区域的形状。我们引入了三个组件:首先,建议使用法线图作为 SDS 的纯几何表示,而不是与外观信息交织在一起的颜色渲染。其次,我们在训练过程中使 SDS 噪声保持固定,这会导致更一致的梯度和更好的收敛性。第三,我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估,结果显示相比竞争方法,我们取得了显著的定量和定性改进。
Dec, 2023
本论文中,我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher,并使用预训练的图像扩散模型进行开发。
Jun, 2023
SVGDreamer 是一种新颖的文本引导的矢量图合成方法,通过语义驱动的图像矢量化过程和基于注意力的原语控制,与基线方法相比,在可编辑性、视觉质量和多样性方面表现出更高的优越性。
Dec, 2023
通过将预训练的二维扩散模型引入神经光辐射场(NeRFs),文本到三维生成方法取得了巨大的进展,其中许多最先进的方法通常使用得分蒸馏采样(SDS)来优化 NeRF 表示,该方法通过预训练的文本条件的二维扩散模型(例如 ImData)监督 NeRF 优化。然而,由这种预训练扩散模型提供的监督信号仅依赖于文本提示,并不限制多视角一致性。为了将跨视角一致性引入扩散先验中,一些最近的工作通过多视角数据微调二维扩散模型,但仍缺乏细粒度的视图连贯性。为了解决这个挑战,我们将多视角图像条件纳入 NeRF 优化的监督信号中,明确强制执行细粒度的视图一致性。通过这种更强的监督,我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明,我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。
Dec, 2023
提出了一个名为 Space2Vec 的表示学习模型,用于将地点的绝对位置和空间关系进行编码,并在地理数据和图像分类两个任务上得到了比径向基函数和多层前馈神经网络等传统机器学习方法更好的效果,其特点是具有多尺度表示能力。
Feb, 2020