- 通过快速扩散反演进行盲图像恢复
通过使用预训练的扩散模型,我们提出了一种盲图像恢复方法 BIRD,它在优化退化模型参数和恢复图像的同时,通过在数据流形上提出新的采样技术,将图像恢复任务转化为输入噪声空间中的优化问题。实验证明,该方法在多个图像恢复任务上实现了最先进的性能。
- 深度度量学习的分段线性流形
无监督深度度量学习通过仅使用无标签数据来学习语义表示空间,其中准确估计数据点之间的相似度是一个具有挑战性的问题。为此,我们提出了使用分段线性逼近来建模高维数据流形的方法,其中每个低维线性段近似于点周围小邻域内的数据流形。通过这些邻域来估计数 - 基于约束采样优化的扩散模型
我们提出了使用扩散模型在数据流形上进行优化的方法,以解决具有未知约束的实际优化问题。通过在 Boltzmann 分布和扩散模型学习的数据分布之间进行采样,我们将原始优化问题转化为采样问题,以限制优化过程在数据流形上进行。通过在初始阶段聚焦在 - 探索高阶神经网络节点之间的总相关性
我们提出了一种名为本地相关解释(CorEx)的新方法,通过首先基于数据流形上的接近程度对数据点进行聚类,以在局部尺度上捕获高阶变量相互作用(HOIs),以解决在复杂的生态系统、合作关系和人脑等领域中准确表征 HOIs 变得困难并且当 HOI - 概率扩散模型讲义
扩散模型通过训练大量数据点,利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布,并学习数据流形,优于其他方法(包括生成对抗网络)来建模自然图像等分布。
- 通过自我监督的航迹噪声预测改进航迹预测
通过引入噪声增强的观测轨迹视图和自我监督任务,提出了一种名为 SSWNP(自我监督的航点噪声预测)的新方法,该方法能改善轨迹预测模型的性能并提供更合理且多样的表示。实验证据表明,我们的方法在嘈杂环境中相对于基准方法显著提升了性能,可与现有的 - 输入边界也能预测泛化
基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力,这为泛化和分类边界之间的关系提供了新的见解,并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。
- ICML流形结构数据上的线性回归:外在几何对解决方案的影响
研究了在流形上建模的线性回归,并分析了嵌入空间中的曲率对回归解决方案唯一性的影响,揭示了数据流形几何在确保回归模型对分布外推理的稳定性方面的作用。
- 远程感知图像生成的流形对齐统一 GAN 框架
本研究提出了一种可学习的信息 - theoretic measure 和一个统一的 GAN 框架,用于在监督和无监督学习下对遥感图像进行流形对齐,同时在处理遥感图像时解决数据流形维度与分布不同的问题。
- ICLR相对表示使零样本隐空间通信成为可能
本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中,提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法,并在不同数据集、不同架构、不同任务下进行了验证。
- CVPR使用扩散模型从低密度区域生成高保真数据
我们使用扩散过程生成模型解决了常见图像数据集中低密度区域的样本稀缺问题,通过修改采样过程使其指向低密度区域并同时保持合成数据的逼真度,经过严谨的验证,我们的方法成功地生成了低密度区域的新的高保真度样本。
- MMN 维中的折纸艺术:前馈网络如何制造线性可分性
通过将数据类折叠到未被占用的高维度中,神经网络的内部处理可以被看作是对 N 维度激活空间中的数据分布进行文字操作。带有 Origami 理论中著名定理的链接。
- 低维流形密度估计:一种膨胀 - 收缩方法
本论文提出了基于神经网络的普适密度估计器 —— 标准化流,针对其仅适用于欧几里得空间的不足,提出了通过在正常空间中添加噪声来扩展数据流形、训练标准化流后再缩减学习得到的密度的新方法,该方法的复杂度与标准化流相同且无需计算反向流,当嵌入维度远 - ICLRδ-CLUE: 不确定性估计的多样解释集
通过扩展 CLUE 方法,我们提出了 δ-CLUE 来提供多个潜在的解释,使得模型对预测的结果更加有信心,从而更好地解释不确定性估计和概率模型。
- 神经缩放定律解释
该研究提出了一种理论,解释并连接训练数据集大小和网络参数数量与已训练神经网络的测试损失之间的精确定义的幂律关系,并通过说明数据流形和一些核的频谱之间的等效性来解释了分辨率有限的缩放行为。
- 子空间扩散分离
提出一种新的非参数对称性解缠算法:GEOMANCER,它通过估计随机扩散下的不变子空间来实现数据流形的完全无监督解缠,并对多个复杂合成流形的实验证明了其有效性。
- CVPR半监督学习的切线 - 法向对抗正则化
本文针对半监督学习问题,提出了一种基于流形的切平面与法线平面对抗正则化方法,称作 TNAR。该方法通过在数据流形的切向空间和法向空间上应用虚拟对抗性训练,实现对分类器局部不变性及鲁棒性的提升,在人工和实际数据集测试中取得了优于其他最先进方法 - ICML几何分数:一种比较生成对抗网络的方法
本文提出了一种新的基于几何学性质的 GAN 模型性能度量方法,可以定量和定性地评估生成样本的质量和模式崩溃的程度。该算法适用于各种类型的数据集,并不仅限于视觉数据。我们在多种真实模型和数据集上测试了该方法,并展示了其提供的 GANs 特性新 - 饱和自编码器
本文介绍了一种新的自编码器正则化方法,能够鼓励对应激活函数饱和区域的激活,实现限制 SATAE 对非数据流形附近输入的重构能力,并表明采用不同激活函数时可学习各种特征,最后还建立了与压缩自编码器及稀疏自编码器的联系。