Apr, 2022

多语种 Transformer 中的降维技术探索

PDF
TL;DR这篇论文旨在探讨多维降维技术对多语言 Siamese Transformer 模型在语义文本相似性任务上的性能影响，针对 Semantic Textual Similarity Benchmark 进行了测试，并通过可视化结果得出了在高维度嵌入计算中使用降维技术的潜力及其对语义意识任务性能的影响。
natural language processingdimensional reduction techniquesmultilingual siamese transformerssemantic textual similarity benchmarkhigh-dimensional embeddings
发现论文，激发创造
  • 评估预训练句子嵌入的无监督降维方法

    使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了无监督的降维方法来降低由 PLMs 生成的句子嵌入的维度。我们的实验结果表明，如主成分分析（PCA）等简单方法可以将句子嵌入的维度降低近 50%，而不会在多个下游任务中造成显著性能损失。令人惊讶的是，在某些任务中，进一步降低维度可以提高某些 PLMs 生成的句子嵌入的性能。

    Mar, 2024

  • 大规模评估主题模型和降维方法在二维文本空间化中的应用

    基于主题模型和降维的大规模基于基准的计算方法有效地设计文本空间化，t-SNE 在降维中的适用性得到验证。

    Jul, 2023

  • 关于句子嵌入的维度

    通过维度分析，我们提出了一种双步训练方法，优化编码器和池化器以减轻低维场景中的整体性能损失，从而显著提高低维句子嵌入的性能。

    Oct, 2023

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 使用预训练转换器进行人类级自然语言处理的实证评估：样本大小和维度的作用

    本文系统研究了在人类级别 NLP 任务如何通过降维方法及向量嵌入维度与样本大小来提高预测性能，其中 RoBERTa 模型在使用 PCA 降维时处理长文本用户表现更佳，大多数任务仅需 1/12 的向量嵌入维度即可达到最佳表现。

    May, 2021

  • 加载所需：多语言 BERT 的较小版本

    本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。

    Oct, 2020

  • 多变量时间序列中降维对异常检测性能的影响探索

    本文通过对 MUTANT 和 Anomaly-Transformer 模型进行维度降低技术与高级无监督时序异常检测模型的全面实证研究，以 MSL、SMAP 和 SWaT 三个不同数据集为例，发现维度降低不仅可以减少计算复杂度，而且在某些情况下显著提高异常检测性能，同时大幅缩短训练时间，对于时间序列分析领域具有重要意义。

    Mar, 2024

  • 一种具有多模态中间融合网络和流形学习的应对压力检测方法

    通过多模态深度学习方法和流形学习的降维技术，本文提出了一种中间多模态融合网络，成功地在处理和分析数据时降低了计算复杂度，并在准确性方面优于其他网络。

    Mar, 2024

  • 探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

    通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

    Jun, 2023

  • 变形器语言模型中的流浪维度掩盖了表征质量

    通过标准化技术等方法探讨相似度测量在 BERT 和 GPT-2 等上下文鉴别模型中的代表性和准确性。我们发现一些不代表整体性质的维度会干扰这些测量，并且这些测量值并不一定代表模型的真实行为。因此，我们认为分析这些模型中基于相似性的操作需要解决这些问题。

    Sep, 2021