本文探讨基于预训练语言模型的文本特征抽取中，标准随机掩码策略会导致高频词汇偏见和罕见词汇表示学习困难的问题，并提出了两个简单有效的基于 token 频率和训练损失的加权采样策略，以解决此问题，并在 BERT 模型上验证，即 Weighted-Sampled BERT (WSBERT)，进一步将其 Fine-tuning 于 GLUE 基准上并探讨它如何提高 token 嵌入的性能。

Feb, 2023

提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

Mar, 2015

本文提出 REP-GAN，一种基于马尔可夫链重参数化的采样方法，能够在提高样本质量的同时大大提高采样效率。在合成和真实数据集上的广泛实验证实了 REP-GAN 的优越性。

Jul, 2021

该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

Jun, 2013

本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。

Jun, 2021

本文介绍了一种简单的方法，通过时间并行化可以减轻固定顺序随机替换预测值的 “计划采样”，并在图像生成、文本摘要、对话生成和翻译等任务中实现与传统教师强制训练相当或更好的性能。

Jun, 2019

为了解决 BERT 模型在预训练和推理之间存在的差异，我们从单词概率分布的角度研究预训练和推理的上下文表示，并发现 BERT 在预训练中存在忽略上下文单词相似性的风险。通过引入辅助注释正则化器，我们提出了一个增强单词语义相似性的 GR-BERT 预训练模型，并设计了两种体系结构进行评估和实验，结果表明该模型较之前模型在词汇替换和文本语义任务中达到了新的最优效果。

May, 2022

本论文提出了一种使用 Gibbs Sampling 的新框架来生成限制条件下的句子，通过逐步迭代更新候选句子，并用新单词取代旧单词，证明了该方法生成的句子具有合理性和多样性。

Feb, 2018

研究预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能；理论认为，预训练语言模型通过遮盖具有暗示下游任务的填空作用，获得有用的归纳偏见。本文构建了类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码；我们演示了掩码语言模型（MLM）目标与学习图形模型中的统计依赖的现有方法之间的对应关系，并利用这一点派生出一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。通过对暗示的统计依赖结构进行最小生成树的无监督解析评估，在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法（58.74 vs. 55.91 UUAS）

Apr, 2021

通过在神经网络各个节点引入噪声，作者提出一种新的概率模型，认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样，并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能；此外，通过教师 - 学生模型，作者提出了一种热化准则，并通过实验演示其有效性，该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。

Jun, 2023