本文提出了一种新的神经主题模型 —— 嵌入聚类正则化主题模型 (ECRTM)，通过嵌入聚类正则化 (ER) 使每个产生的主题包含不同的词义，从而缓解了主题崩溃问题，并在主题质量、文档主题分布和下游分类任务等方面持续超越了最先进的基线。

Jun, 2023

本文提出了一种新的主题建模框架，在该框架中，每个文档都被视为一组单词嵌入向量，每个主题都被建模为嵌入空间中的嵌入向量，并在相同的向量空间中嵌入单词和主题，定义一种方法来衡量文档单词的嵌入向量与主题嵌入向量之间的语义差异，并优化主题嵌入以最小化所有文档的期望差异。实验结果表明，所提出的方法在发现更连贯和多样化的主题以及提取更好的文档表示方面具有竞争性的性能。

Mar, 2022

本文提出了一种新的方法，通过利用信息丰富的潜在嵌入及其高内类相关性，从同质样本的子集中创建虚拟嵌入，并使用这些虚拟嵌入来降低它们在潜在嵌入空间中的类间相似度，以达到模型规范化的目的且不需要昂贵的超参数搜索，并在两个流行和具有挑战性的图像分类数据集（CIFAR 和 FashionMNIST）上验证了方法的有效性。

Apr, 2023

本文旨在比较不同的正则化策略，以解决嵌入式神经网络在 NLP 中严重过拟合的现象。研究着重于超参数调整和组合不同的正则化策略，结果提供了神经 NLP 模型的超参数调整图片。

Aug, 2015

我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

Aug, 2023

通过增加训练和测试数据的方式，寻找嵌入空间维度的最优值，使用更有区分性的损失函数来提高文本无关说话人识别系统的识别和验证准确性，在不增加额外数据或使用更深和更复杂的模型的情况下，实验结果表明：（i）重复和随机时间翻转可以将预测误差降低高达 18%。（ii）较低维度嵌入更适合进行验证。（iii）使用所提出的逻辑边距损失函数导致具有最先进的标识和竞争验证准确性的统一嵌入。

Jul, 2018

介绍了一种名为特征复用的高效且高效的框架，该框架通过使用单个表示空间跨越许多不同的分类特征，解决了特征嵌入算法中的瓶颈。在三个公共基准数据集上，多路复用表示法导致 Pareto 最优的参数 - 准确性权衡。统一嵌入给出了显着的纠正 Web-Scale 的离线和在线指标的结果。

May, 2023

本文介绍了关于主题模型的研究，探讨了如何将 contextual embeddings 应用于 neural topic models，以提高主题模型的准确性和一致性，并且研究结果表明，对自然语言处理模型的改进将会对主题模型产生积极影响。

Apr, 2020

本文提出了一种使用多视图嵌入空间的神经主题建模框架，通过联合多种来源的预训练主题嵌入和预训练词嵌入来提高主题质量并更好地处理一词多义。文章通过从新闻和医疗领域的不同文本集合中进行实验，评估了主题和文档表示的质量。

Apr, 2021

本研究提出了一种新的主题模型，嵌入式主题模型（ETM），通过将传统的主题模型与词嵌入技术相结合，成功发现了即使在包含生僻词和停用词的大词汇表中也具有可解释性的主题。此外，研究还开发了高效的变分推理算法来拟合 ETM 进行预测。

Jul, 2019