2D 套娃句子嵌入

Feb, 2024

2D Matryoshka Sentence Embeddings

Xianming Li, Zongxi Li, Jing Li, Haoran Xie, Qing Li

TL;DR引入了一种名为二维母婴句子嵌入的新型句子嵌入模型，支持弹性设置嵌入尺寸和 Transformer 层数，具备比 Matryoshka Representation Learning 更大的灵活性和效率。在语义文本相似性（STS）任务和下游应用上进行了涉及实验，实验结果表明我们提出的模型在动态支持不同嵌入尺寸和 Transformer 层数方面表现出了显著的效果，能够高度适应各种场景。

Abstract

Common approaches rely on fixed-length embedding vectors from language models as sentence embeddings for downstream tasks such as semantic textual similarity (STS). Such methods are limited in their flexibility due to unknown computational constraints and budgets across various applications. Matryoshka Representation Learning (MRL) (Kusupati et al., 2022) en

matryoshka representation learning sentence embedding two-dimensional matryoshka sentence embedding embedding sizes transformer layers

发现论文，激发创造

关于句子嵌入的维度

通过维度分析，我们提出了一种双步训练方法，优化编码器和池化器以减轻低维场景中的整体性能损失，从而显著提高低维句子嵌入的性能。

Oct, 2023

神经机器翻译中的二维序列到序列模型

研究了一种新的神经机器翻译模型，使用了多维长短期记忆网络（MDLSTM）来实现二维的源语言和目标语言的对应关系，并在 WMT 2017 的德语 - 英语翻译中表现出显著优势。

Oct, 2018

用于改写和文本摘要的语义句子嵌入

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

通过线性结构探测研究变压器句子嵌入的语义子空间

以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

Oct, 2023

最大编码率缩减下的句子表示压缩

本文介绍了一种使用 MCR2 目标学习额外的投影层来研究句子表示模型 Sentence-BERT 的模型蒸馏方法，新模型具有更低的复杂性和句子嵌入大小，可在语义检索基准上实现可比较的结果。

Apr, 2023

BERT 句子嵌入中的语法信息作为二维数组

通过使用来自语言模型的更高维数组，我们发现句子嵌入可捕获规则类的语法信息，进而帮助发展少样本学习方法。

Dec, 2023

通过多个词向量和多级比较实现语义文本相似度的句子建模

该研究提出了一种将多组实现单词嵌入的方法（M-MaxLSTM-CNN），并使用多级比较学习文本相似度和关系。实验结果表明， M-MaxLSTM-CNN 在文本相似度任务中表现优越，且不需要手动设计特征或预先训练单词嵌入具有相同的维度。

May, 2018

用张量嵌入层实现模型高效压缩

本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

Jan, 2019

SuperTML：用于结构化表格数据的二维词嵌入

本文提出了 SuperTML 方法，通过采用两维度嵌入超级字符的思想，将表格数据进行二维嵌入，然后使用 fine-tuned 二维 CNN 模型来解决分类问题。实验结果表明，该方法在大型和小型数据集上都取得了最先进的结果。

Feb, 2019

无监督语义文本相似性的句子元嵌入

本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。

Nov, 2019