Jul, 2019

条件密度估计的噪声正则化

PDF
TL;DR提出了一种基于噪声正则化的条件密度估计方法，可解决神经网络模型在训练过程中容易出现过拟合的问题，并经实验证明在七个数据集和三种 CDE 模型上均取得了显著且一致的效果，在训练数据稀缺时也比之前的非参数化和半参数化方法更具优势。
conditional density estimationneural networksregularizationoverfittingasymptotic consistency
发现论文，激发创造
  • 高斯过程条件密度估计

    本文介绍了一种基于高斯过程的贝叶斯条件密度估计方法，利用隐变量来扩展模型输入，可以应用于小数据集和大数据集，有效地建模稀疏数据区域和多条件共享结构，并应用于出租车乘客下车的时空密度估计、非高斯噪声建模以及少样本学习的实际问题。

    Oct, 2018

  • 将高维回归转换为高维条件密度估计

    使用非参数条件密度估计器，提出了一个全新的 CDE 方法 FlexCode，并对其在高维数据上的表现进行了理论和实证研究。

    Apr, 2017

  • 无标准化模型的条件噪声对比估计

    我们提出了一种新方法，通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来，旨在比噪声对比估计更好地估计未规范化模型的参数，并在深度学习中证明了其适用性。

    Jun, 2018

  • 隐私保护数据的条件密度估计

    在该研究中，我们提出了基于模拟的隐私保护数据集推理方法，利用神经条件密度估计器近似后验分布，纠正隐私保护机制引入的偏差，并展示了隐私与效用之间的权衡的必要性和可行性。

    Oct, 2023

  • 使用对比性置信度规范化缓解密集检索中的假阴影的影响

    通过引入一种新的对比置信度正则化器用于噪声对比估计（NCE）损失，以提高稠密检索模型对于假阴性的鲁棒性，并通过过滤数据集中的噪声负面篇章的方法改进下游稠密检索模型的检索性能。

    Dec, 2023

  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019

  • 神经常微分方程中的随机性：实证研究

    本文对几个图像分类任务进行了随机正则化神经 ODE 的实证研究，探讨了数据增强对其性能的影响，展示了神经 SDE 相对于其确定性版本的优势，但进一步的研究表明，数据增强消除了随机正则化的影响，使得神经 ODE 和神经 SDE 的性能差异微不足道。

    Feb, 2020

  • 通过噪声使深度神经网络规则化：解释和优化

    通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

    Oct, 2017

  • 快速非参数条件密度估计

    通过建立 full density 模型 f (yjx) 而非只有期望值 E (yjx)，条件密度估计广义了回归。本文提出了双核条件密度估计器，并引入了基于双数树的快速算法，用最大似然准则进行带宽选择，从而在处理多变量数据集时取得 380 万倍的加速。

    Jun, 2012

  • 具有条件变形卷积神经网络的图像配准

    本文提出一种用于深度可变形图像配准的新的有条件图像配准方法和自监督学习范式，通过学习与正则化超参数相关的条件特征，论文证明了单个深度卷积神经网络能够捕捉任意超参数的最优解，并且所得到的变形场平滑度可以在推理过程中以任意强度已调，大规模脑 MRI 数据集的丰富实验结果表明，该方法可实现对变形场平滑度的精确控制，同时不会牺牲运行时间的优势或配准准确性。

    Jun, 2021