noise-contrastive estimation | BriefGPT

关键词noise-contrastive estimation

搜索结果 - 10

噪声对比估计与对比散度之间的关联
通过将噪声对比估计（NCE）方法与传统最大似然估计（ML）方法结合，以及探索 NCE 与条件重要性采样（RNCE）和对比散度（CNCE）之间的关联，本研究实现了 NCE 方法的扩展和改进。
PDF4 months ago
通过组合优化学习非标准化统计模型
本文探讨了一种直接优化非规范化模型负对数似然的方法，通过引入噪声分布，实现了将对数分区函数写为组合函数的形式，进而通过随机组合优化算法进行优化，较噪声对比估计方法具有更快的收敛速度和更好的性能。
PDFa year ago
完全变分噪声对比估计
本文提出了一种使用正确评分规则理论的噪声对比估计（NCE）方法家族，适用于潜变量模型；这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息，并被称为全变分噪声对比估计时损失函数，其中，变分自编码器是其中的一种，也可以
PDFa year ago
EMNLP将预训练 Transformers 作为基于能量的 Cloze 模型
介绍了一种基于能量的填空模型 Electric，用于文本表示学习，通过噪声对比估计算法进行训练。Electric 在下游任务表现优秀，特别是在对文本进行可能性评分方面表现出较高的效果，同时清晰地解析了 ELECTRA 预训练期间所学习的内容
PDF4 years ago
多元点过程的噪声对比估计
本文介绍了一种基于噪声对比估计的参数估计方法，应用在生成模型和时间多元点过程中的最大似然估计计算中，实现了更高效的优化。
PDF4 years ago
使用动态噪声对比估计改进神经跨维随机场语言模型的训练
通过引入动态噪声对比估计 (DNCE) 解决噪声对比估计（NCE）训练中出现的问题，提出了一种新的整句语言模型 - 神经转移维度随机场语言模型（neural TRF LM），成功地在大语料库中进行了高效的训练，并取得了与 LSTM LM 相
PDF6 years ago
ICML无标准化模型的条件噪声对比估计
我们提出了一种新方法，通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来，旨在比噪声对比估计更好地估计未规范化模型的参数，并在深度学习中证明了其适用性。
PDF6 years ago
ICLR用于生成模型估计的可辨识性标准
本文探讨了两种基于二进制分类的生成模型估计标准的相似性和差异性，证明了一种动态生成器网络的 NCE 算法等价于最大似然估计；同时也指出了 GAN 算法存在的问题和未来的研究方向。
PDF10 years ago
ICML一个用于训练神经概率语言模型的快速简单算法
本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。
PDF12 years ago
Bregman 散度作为估计非归一化统计模型的通用框架
该研究论文阐述了 Bregman 散度能够提供精确估计不满足归一化条件的连续或离散随机变量的统计模型，并证明了噪声对比估计、比率匹配和分数匹配等最近的估计方法属于该方法，最后探讨了提升在无监督学习中的作用。
PDF12 years ago