介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

通过对比式编码器模型在多语言环境下进行训练，实现检测多语言环境中的困难释义，得到可用于语义搜索等多种任务的嵌入向量，并在下游任务中评估模型性能和嵌入向量质量，与当前最先进的交叉编码器相比，在所选择的数据集中只有 7-10% 的最小相对下降，同时保持嵌入向量的良好质量。

Jun, 2024

本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。

Sep, 2022

研究一种使用 BERT 表示组成部分的句子的模型，结合指针网络和 ConceptNet 等知识，实现对文本语义相似性的可解释性分析。实验结果表明，该模型在 chunk alignment 任务上取得了显著的性能提升。

Jul, 2020

本文提出了一种获取基于句子嵌入的方法，通过引入约束来确保生成的近义词句子嵌入与原始句子嵌入相似，此方法在惯用数据集上的近义词生成和情感分析任务中要优于最先进的方法，并且是具有统计意义的。

Jun, 2018

本文介绍了一种关注编码器，结合了树状递归神经网络和序列循环神经网络，用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码，评估结果表明，在语义相似度和释义选择方面，我们的编码器优于所有基线，并取得了最佳结果。

Oct, 2016

引入一种次句编码器，一种对文本进行细粒度语义表示的对比学习上下文嵌入模型。与对整个文本序列进行编码为固定长度向量的标准实践不同，次句编码器学习产生与文本序列中不同的原子命题（即表达在一个文本序列中的含义的原子单位）相对应的不同的上下文嵌入。次句嵌入通过对比学习来识别（推导出的）命题在不同文本序列中的语义等价性。我们的实验表明，次句编码器在应用中的有效性，例如检索细粒度文本归因的支持事实或识别文本之间的条件语义相似性。在实践中，我们证明次句编码器与句子编码器相比具有相同的推理成本和空间复杂度。

Nov, 2023

通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

Nov, 2023

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018