ACLJun, 2019

变分预训练用于半监督文本分类

PDF
TL;DR介绍了 VAMPIRE，这是一个轻量级的预训练框架，可用于在数据和计算资源有限的情况下进行有效的文本分类。使用无标记的领域内语料库通过变分自编码器实现 unigram 文档模型的预训练，并将其内部状态作为下游分类器的特征。在低资源情况下，我们经验证明 VAMPIRE 相对于昂贵的上下文嵌入和其他流行的半监督基线的优势。我们还发现，在有限的监督条件下，微调领域内数据对于从上下文嵌入中实现良好性能至关重要。伴随本文提供了预训练 VAMPIRE 嵌入的代码。
发现论文，激发创造
  • 半监督文本分类的变分自编码器

    提出了一种半监督顺序变分自编码器 (SSVAE) 用于文本分类，在解码器中增加了标签信息，并使用一种新颖的优化方法减少了训练中的计算复杂性，实验结果表明该方法在 IMDB 数据集和 AG 新闻语料库上的分类精度显著提高，与之前的先进方法相当。

    Mar, 2016

  • 一种用于上下文形态变化的结构化变分自编码器

    使用生成型潜变量模型和变分推断方法解决未标注数据下降低资源被限制的语言对词形变化生成的研究问题，实验中得到一些语言中 10% 准确性的提高。

    Jun, 2018

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 文本识别的自我监督预训练

    本文研究了文档文本识别的自监督预训练方法，探索了利用未标记数据的方法，并提出了基于掩码标签预测的自监督预训练方法，以及联合嵌入方法和模型崩溃预防技术。通过在历史手写和历史印刷数据集上的实验表明，自监督预训练在目标领域数据上非常有效，但在与之密切相关的领域上的迁移学习上却表现不佳。

    May, 2024

  • 使用 VampPrior 的 VAE

    本文提出了一种新的先验模型 ——“变分混合后验”，并将其扩展为两层分层模型，通过使用混合高斯分布和可学习的伪输入条件下的变分后验构成组件，可以避免存在无用的潜在维度，从而实现更好的无监督数据建模。在六个数据集上进行的实证研究表明，应用分层 VampPrior 模型可在无监督不变分布的情况下实现所有数据集的最先进结果。

    May, 2017

  • VampPrior 混合模型

    对于深度潜在变量模型 (DLVMs)，当前的聚类先验方法要求事先定义聚类数目并容易受到初始值的影响。通过同时进行整合和聚类，我们将 VampPrior（Tomczak 和 Welling，2018）调整到一个狄利克雷过程高斯混合模型中，形成了 VampPrior Mixture Model（VMM），这是一个新的 DLVMs 先验方法。我们提出了一个交替使用变分推断和经验贝叶斯的推理过程，以清晰区分变分参数和先验参数。使用 VMM 在基准数据集上的变分自编码器获得了极具竞争力的聚类性能。将 VMM 与流行的 scRNA-seq 整合方法 scVI（Lopez 等，2018）相结合，可以显著提高其性能并自动将细胞分组成具有生物学意义的聚类。

    Feb, 2024

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 对半监督 VAE 框架在文本分类中的挑战

    本文的研究旨在简化标准的序列 SSVAEs (半监督变分自编码器) 设计，并从其目标中消除 KL 散度和完全未观察到的潜在变量，优化其信息流和速度，使其更适合于文本分类任务，实验结果表明优化版本速度提升 26% 而分类效果不减。

    Sep, 2021

  • 视觉增强语言建模

    提出了一种名为 VaLM 的预训练框架，对语言建模进行视觉增强，通过图像检索模块检索相应图像，使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识，并在需要的情况下获取相关联的图片，通过对各种视觉知识密集型的常识推理任务的评估，展示了 VaLM 在推理对象的常识，包括颜色、大小和形状方面的性能优于强语言和视觉语言基线。

    May, 2022

  • 结合深度生成模型和多语言预训练进行半监督文档分类

    本文结合半监督深度生成模型与多语预训练技术，设计了一套用于文档分类的流程，在多个语种的低资源场景中表现出极强的竞争力，胜过现有最先进的方法。

    Jan, 2021