- ACL科学文献摘要的对比分层话语图
本文提出了 CHANGES，一种对比层次图神经网络，用于科学论文自动摘要。CHANGES 使用分层对话图表示科学论文，并通过专门设计的分层图信息聚合学习有效的句子表示。我们还提出了图对比学习模块，以学习全局主题感知的句子表示。在 PubMe - ACLRankCSE: 无监督学习排序的句子表示
本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。
- 最大编码率缩减下的句子表示压缩
本文介绍了一种使用 MCR2 目标学习额外的投影层来研究句子表示模型 Sentence-BERT 的模型蒸馏方法，新模型具有更低的复杂性和句子嵌入大小，可在语义检索基准上实现可比较的结果。
- EMNLP走向统一的文本分割和长文摘要
本文研究了文本切分在摘要提取中的作用，通过将摘要和切分同时进行学习，以及通过一种基于优化的正则化方法来提高模型的多样性，实现了既能在科学文章也能在口语记录中达到最优性能且具有更好的跨体裁可转移性的效果。
- SDA: 简单离散增强方法用于对比句子表示学习
本文提出三种离散级别的语句数据增强方法（标点符号插入、肯定助动词和双重否定），以实现语义一致性和表达多样性的平衡，从而取得了良好的效果，并在英文和中文语义文本相似性数据集上进行了广泛的实验。
- ECCV词级细粒度故事可视化
本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。
- 无监督上下文感知句子表示预训练在多语言密集检索中的应用
本文介绍了一种简单有效的单语言预训练任务 —— 对比上下文预测 (contrastive context prediction, CCP)，通过学习建模句子级上下文关系来学习句子表示，从而使句子配对对齐，并使用语言特定的存储器库和非对称批标 - 理解语境化表示的潜在拓扑感知
通过使用结构化的变分自编码器进行完全无监督的学习，得出语境化嵌入的表征空间存在潜在状态的网络，这些状态不仅作为表示流形的拓扑结构的锚点，还揭示了对句子进行编码的内部机制。同时，表明句子作为潜在网络上的遍历，状态转换链编码了句法模板，状态 - - 将依存树整合到自注意力机制中的句子表示
提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。
- ACL句子语义相关的原因：一个文本相关性数据集和实证研究
本文介绍一个新的数据集 ——STR-2022，该数据集包含 5,500 个英文句子对，用比较注释框架手动注释，得出精细的分数，用于探索相关性和评估自动句子表示方法及下游的自然语言处理任务。
- ACL轻量级跨语言句子表示学习
本文介绍了一种轻量级双变压器体系结构，用于生成记忆高效的跨语言句子表示。同时，还提出了一种新的跨语言语言模型，并引入了两个计算良好的句子级对比学习任务，以提高跨语言句子表示空间的对齐度，从而补偿生成任务的学习瓶颈。实验结果表明，在跨语言句子 - 优化语句表示以提升语义和检索速度
本文发现传统机器学习中的白化操作同样可以增强句子表示的等向性并取得较为显著的性能提升，同时可以减少句子表示的存储成本和加速模型检索速度。
- INSET: 使用 Inter-SEntential Transformer 进行句子填充
本文提出了一个基于 BERT 和 GPT-2 的框架，通过将缺失句子生成任务拆分成三个方面的处理来解决此问题 —— 语义理解，篇章规划和生成，并在实验证明了我们的模型在学习句子表示和生成缺失句子方面的有效性。
- ICLR无需训练：探究用随机编码器进行句子分类
探索从预训练的单词嵌入中计算句子表示的各种方法，无需任何训练，即仅使用随机参数化。结果表明，现代句子嵌入相比随机方法提高很少；我们还对句子分类评估适当实验协议进行了重要观察，并提出了未来研究的建议。
- EMNLP为语义解析器识别领域邻接实例
通过比较各种基准线，本研究提出了一种新的简单句子表示方法，并在该方法下进行了下游语义分析器的测试。结果表明，该方法显著提高了领域相邻实例和领域内实例的性能。
- 不同注意力，同样表示：从多任务中共享句子表示学习
本文提出了一种新的多任务学习的信息共享方案，通过注意力机制为所有任务共享相同的句子表示，使每个任务都能从中选择任务特定的信息，并在 16 个不同的文本分类任务上进行了实验，证明了该架构的优势。
- ACLListOps: 隐树学习诊断数据集
本文介绍了 ListOps，这是一个玩具数据集，旨在研究潜在树模型的分析能力。该数据集的序列采用前缀算术的格式，设计有一个需要系统学习的正确解析策略，发现当前领先的潜在树模型无法学习解析和成功完成 ListOps 任务，且准确度不如纯顺序 - ICLR学习句子表示的高效框架
本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。
- 无监督句子表示作为词语信息系列：重访 TF-IDF
本文提出了一种利用加权词向量嵌入学习无标注句子表示的无监督方法，通过 TF-IDF 变换提供的 Shannon 词熵拟合词向量的权重，选择不同的超参得出短期训练、在线推理的句子表示，经过与 STS 系统的对比表明，该方法在语义文本相似度模型 - EMNLP基于门控注意力机制的循环神经网络句子编码器在自然语言推理中的应用
本文介绍了一个系统 (alpha)，使用神经网络将一句话表示为固定长度向量，用自然语言推理任务来测试该表征的质量，以参加 RepEval 2017 共享任务。该模型在领域内测试集和跨领域测试集上均获得了 74.9% 的精度，并在句内门控注意