Feb, 2012

稀疏主题编码

PDF
TL;DR本文提出了稀疏主题编码（STC）方法，通过使用稀疏性建模大数据集的潜在表示，可以直接控制推断表示的稀疏性，并且可以与凸误差函数（例如 SVM Hinge Loss）无缝集成进行监督学习。实验结果表明，STC 和监督 MedSTC 模型在词汇的主题意义识别和分类准确性和时间效率方面优于其他模型。
sparse topical codinglatent representationssparsity-inducing regularizerssupervised learningcoordinate descent algorithm
发现论文，激发创造
  • 主题 - 语义对比学习减轻短文本主题建模中的数据稀疏性

    提出了一种新颖的短文本主题建模框架 Topic-Semantic Contrastive Topic Model (TSCTM)，采用一种新的对比学习方法来丰富学习信号并缓解数据稀疏问题，该方法优于现有的基线模型，不受数据增强可用性限制，能够产生高质量的主题和主题分布。

    Nov, 2022

  • 结构化概率编码

    提出了一种新的监督表示学习框架，即结构化概率编码（SPC），用于从与目标任务相关的输入中学习紧凑且信息丰富的表示。SPC 可以提高预先训练语言模型的泛化能力以实现更好的语言理解。通过在高斯分布空间中编码隐藏表示，并同时最大化与标签空间相关的潜在表示的先验熵，SPC 可以在一个模块中进行信息编码和任务预测，充分利用输入数据的有效信息并减少随机性和不确定性。结构化正则化促进了概率分布的控制，以保持潜在代码的高斯分布结构，并更好地将隐空间覆盖类别均匀。实验证明，SPC 可以提高预先训练语言模型的性能，适用于各种分类和回归任务，并增强了输出表示的泛化能力、标签噪声鲁棒性和聚类质量。

    Dec, 2023

  • 采用分层稀疏编码学习单词表现

    提出了一种使用启发自单词意义语言学研究的稀疏编码中的分层正则化来学习单词表示的新方法，并展示了一种基于随机近端方法的高效学习算法，用于处理数十亿单词令牌的层次稀疏编码，实验表明该方法在各种基准任务上的表现优于或与最先进的方法相媲美。

    Jun, 2014

  • 监督卷积稀疏编码

    通过加入监督正则化项来扩展卷积稀疏编码模型并学习具有判别性的字典，从而实现更好的图像重建和更语义相关的字典元素。

    Apr, 2018

  • 主题稀疏性的 Sparsemax 和 Relaxed Wasserstein

    提出了两个基于高斯稀疏最大化构造的全新神经模型，能够提供对主题的稀疏后验分布进行高效的随机反向传播训练，与现有的基于高斯 softmax 和 KL 散度的方法相比，我们的方法可以识别潜在的主题稀疏性，同时具有训练稳定性、预测性能和主题连贯性。

    Oct, 2018

  • 无监督特征学习的尖峰与板块稀疏编码

    本文提出了一种基于 spike-and-slab 稀疏编码的因子模型，使用结构化变分推断和变分 EM 算法进行训练并得到与 CIFAR-10 和 STL-10 数据集上最先进的自学习和半监督学习表现，并赢得了 NIPS 2011 年挑战性学习分层模型转移学习竞赛的冠军。

    Jan, 2012

  • 自适应学习的稀疏编码算法

    本文提出了自适应稀疏编码（Self-Paced Sparse Coding，SPSC）框架，可逐步从简单到复杂地包含矩阵元素到编码学习中，以提高其学习鲁棒性并推广到不同层次的自适应学习。试验结果表明了该算法对于处理真实数据的有效性。

    Sep, 2017

  • 主题模型的网络方法

    采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

    Aug, 2017

  • 句法主题模型

    STM 是一种语法主题模型，能够在句法和语义上发现单词的潜在分布，通过组合文档级特征和本地句法上下文，推导出一种基于变分方法的快速后验推断算法，比目前仅基于语法或仅基于主题模型的模型更具预测性能。

    Feb, 2010

  • 稀疏化再分类：从大型语言模型的内部神经元到高效的文本分类器

    我们的研究提出了一种使用所有内部表示的方法，通过在所有激活和隐藏状态上采用多种池化策略，首先逐层稀疏化特定于任务的特征，然后在层之间进行聚合，用于文本分类。我们的实验证明，STC 不仅在预训练和微调模型上稳定提高了分类性能，而且在训练和推断速度上更加高效，具有更强的内在可解释性。

    Nov, 2023