CVPRNov, 2022

实例模式组合器生成通用隐式神经表示

PDF
TL;DR该研究介绍了一种能够自适应权重的神经网络并利用该框架构建出可推广的隐式神经表示（INRs），该框架被设计用于在坐标系下自动化地生成实例特征编码，实现了一个指导变更的自上而下的编码方式，在现有实例的基础上预测新实例的特征编码，实验表明该方法对于包括音频、图像和三维对象在内的多个领域具有很高的性能。
implicit neural representationsmulti-layer perceptrongeneralizabilityinstance pattern composerweight modulation
发现论文，激发创造
  • WildAvatar: Web 规模现实场景视频数据集用于 3D 头像创建

    通过从 YouTube 中提取的 Web 规模野外人类化身创作数据集，我们评估了几种最先进的人类化身创作方法，突显了其在真实世界应用中未开发的挑战，并展示了规模化数据提供的人类化身创作方法的潜在推广能力。

    Jul, 2024

  • 学习 3D 高斯函数对极度稀疏视图的锥束 CT 重建

    通过稀疏视图重建减少辐射剂量的研究方向中，我们提出了一种新的重建框架，名为 DIF-Gaussian，利用三维高斯函数在三维空间中表示特征分布，通过测试时优化改进模型的泛化能力，通过在两个公共数据集上的评估结果，显示出明显优于最先进方法的重建性能。

    Jul, 2024

  • 神经条件概率推理

    介绍了一种名为 NCP（神经条件概率）的新型算子理论方法，用于学习条件分布并重点关注推断任务。NCP 可用于构建条件置信区间、提取条件分位数、均值和协方差等重要统计量。通过利用神经网络的强大近似能力，该方法有效处理各种复杂概率分布，能够处理输入和输出变量之间的非线性关系。理论保证了 NCP 方法的优化一致性和统计准确性。实验证明，使用简单的具有两个隐藏层和 GELU 激活函数的多层感知机（MLP），我们的方法可以与领先的方法相媲美甚至超越，展示了在更复杂的架构中，基于理论的损失函数的最小化结构可以在不损失性能的情况下取得具有竞争力的结果。

    Jul, 2024

  • Instruct-IPT：基于权重调控的一体化图像处理变换器

    提出了 Instruct-IPT - 一种多合一图像处理 Transformer，可以有效地处理具有大的任务间隔的多种图像修复任务，通过权重调节来自适应特定任务的权重，通过同步训练更新通用骨干模型和特定任务的偏差，以便指导模型学习通用和特定任务知识，并通过文本指令来提高用户界面的操控。

    Jun, 2024

  • 重访大型视觉语言模型的后门攻击

    使用指令调优增强大规模视觉语言模型 (LVLMs) 会提高安全风险，因其开放性可能导致后门攻击。本研究首次经验性地考察了指令调优 LVLMs 期间后门攻击的普适性，揭示了在实际场景中大多数后门策略的某些限制。通过定量评估对视觉和文本领域存在偏差的六种典型后门攻击在图像字幕基准测试上的普适性，我们的研究结果表明，攻击的普适性与后门触发器与特定图像 / 模型的不相关性以及触发器模式的偏好相关。此外，我们基于以上关键观察修改了现有的后门攻击方法，在跨域场景的普适性方面取得了显著改进 (+86% 攻击成功率)。值得注意的是，即使没有访问指令数据集，也可以使用极低的污染率 (0.2%) 成功毒化多模态指令集，攻击成功率超过 97%。本研究强调即使是简单的传统后门策略也对 LVLMs 构成严重威胁，需要更多关注和深入研究。

    Jun, 2024

  • PNeRV: 用于视频的多项式神经表示

    通过引入多项式神经网络，本研究提出了一种针对视频的参数高效、面片级内隐神经表示的方法（PNeRV），该方法在保留空间连续性的同时，充分利用了连续时间的模糊能力，解决了视频数据领域内内隐神经表示所面临的挑战，并为先进的视频处理和分析开辟了新的途径。

    Jun, 2024

  • WavRx：一种疾病不可知、通用和隐私保护的语音健康诊断模型

    提出了一种能够捕捉通用语音表示中呼吸与表达动态的语音健康诊断模型 WavRx，该模型在六个病理语音数据集上的领域内和领域间实验表明 WavRx 是一种新的最先进的健康诊断模型，并且在没有额外指导的情况下，WavRx 健康嵌入中包含的说话者身份信息得到显著降低，同时通过对模型的深入分析提供了其改进的泛化能力和隐私保护能力的生理解释。

    Jun, 2024

  • 实验研究的普遍适用性

    本文提出了实验研究的数学形式化方法，并发展了一个可量化的泛化概念，旨在探索现有研究的泛化性，并估计实现新研究泛化性所需的实验数量，为此我们应用两个最近发表的基准测试来区分可泛化和不可泛化的结果，并发布了一个 Python 模块，可以用于其他实验研究的分析。

    Jun, 2024

  • CEST-KAN: 库尔莫戈洛夫 - 阿诺德网络用于 CEST 磁共振成像数据分析

    本研究首次证明了使用 Kolmogorov-Arnold Network (KAN) 对 CEST MRI 数据进行分析的可行性，并强调其在这一任务中的优越性，结果表明 CEST-KAN 有潜力成为临床设置中 CEST MRI 数据的强大可靠的后分析工具。

    Jun, 2024

  • INFusion: 基于扩散正则化的隐式神经表示用于二维和三维加速 MRI 重建

    INFusion 是一种技术，通过使用预训练的扩散模型，为基于学习的隐式神经表示（INRs）的优化提供正则化，以改善图像重建。2D 实验证明了使用我们提出的扩散正则化改进了 INR 训练的效果，而 3D 实验则证明了在 256x256x80 大小的 3D 矩阵上使用扩散正则化进行 INR 训练的可行性。

    Jun, 2024