无需参数的正交基句子嵌入
本文提出了一种无监督建模方法，通过引入新的相似度度量和矩阵嵌入的优化问题，可以更加灵活地表示文本嵌入，并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。
Nov, 2022
研究发现句子的词向量表示一般都集中在一个低秩子空间内，通过基于该子空间的无监督表示法在 19 个数据集上测试，平均优于 skip-thought vectors 等神经网络模型 15%。
Apr, 2017
本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。
Jun, 2024
本文提出了一种基于句子嵌入和生成过程模型相结合的话题建模和推断算法，使用期望最大化、硬分配和退火过程推导出快速推理算法。在评估中，我们的方法以相对较少的计算要求取得了最先进的结果。
Feb, 2023
本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。
Sep, 2018
提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。
Dec, 2019
介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。
Sep, 2018
本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。
Nov, 2020
本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。
Mar, 2019