COLINGJun, 2018

语言建模的自我标准化特性

PDF
TL;DR本研究对语言建模中的自归一化进行了全面的研究，通过理论分析噪声对比估计 (NCE) 语言模型的自归一化特性，与使用显式正则化来自归一化的 softmax-based 方法进行了经验比较，并提出了一种具有吸引力的混合模型。最后，发现自归一化和困惑度之间存在负相关，这一规律为未来改善自归一化算法提供了一定的帮助。
self-normalizing discriminative modelslanguage modelingnoise contrastive estimationsoftmax-based approachesperplexity
发现论文，激发创造
  • 无标准化模型的条件噪声对比估计

    我们提出了一种新方法，通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来，旨在比噪声对比估计更好地估计未规范化模型的参数，并在深度学习中证明了其适用性。

    Jun, 2018

  • 大词汇神经语言模型的训练策略

    本研究系统比较了代表性的方法来表示和训练大词汇下的神经网络语言模型，包括 softmax、层级 softmax、自归一化等方法，并在三个流行的基准数据集上评估了每种方法在罕见词汇、速度 / 精度平衡以及与 Kneser-Ney 模型之间的互补性方面的表现。

    Dec, 2015

  • 通过组合优化学习非标准化统计模型

    本文探讨了一种直接优化非规范化模型负对数似然的方法，通过引入噪声分布，实现了将对数分区函数写为组合函数的形式，进而通过随机组合优化算法进行优化，较噪声对比估计方法具有更快的收敛速度和更好的性能。

    Jun, 2023

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 噪声对比估计与负采样注释

    该研究探讨语言概率模型参数估计中遇到的计算问题及其解决方案，针对噪声对比估计与负采样方法的异同进行分析，发现 NCE 是一种渐近无偏的通用参数估计技术，而负采样则适用于学习词表示，但不适用于通用估计器。

    Oct, 2014

  • 条件模型的噪声对比估计和负采样：一致性和统计效率

    本文考虑了基于 NCE 的条件模型估计，通过分析两种条件模型变体：一种基于分类目标，另一种基于排序目标，证明了基于排序的 NCE 变体在较弱的假设下提供了一致的参数估计，同时分析了两种方法的统计效率，并在合成数据和语言建模实验中展示了两种方法的效果和权衡。

    Sep, 2018

  • 噪声对比估计与对比散度之间的关联

    通过将噪声对比估计（NCE）方法与传统最大似然估计（ML）方法结合，以及探索 NCE 与条件重要性采样（RNCE）和对比散度（CNCE）之间的关联，本研究实现了 NCE 方法的扩展和改进。

    Feb, 2024

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017

  • 使用连续松弛束搜索对循环神经序列模型进行全局和局部归一化的实证研究

    本研究通过对搜索感知训练的扩展，实现对全局标准化经常序列模型的训练，并在 CCG supertagging 和机器翻译任务中证明了全局标准化在不同条件下的重要性。

    Apr, 2019

  • 语言建模的显式词语密度估计

    使用基于 NeuralODEs 和连续模拟的 Normalizing Flows 的一种新型语言模型，改进了某些基准模型。

    Jun, 2024