- DALL-E 2 中组合句法和语义的比较研究
DALL-E 2 在语义准确性方面无法与年幼儿童相媲美，这表明它在组合句子表示方面存在明显缺陷。
- 基于认知动机的解析器生成结构启动预测
使用一种新的认知动机解析器，基于实证启动模式的理论可以生成关于结构表示形式的定量预测，并通过实证的人类行为评估这些预测。本研究以简化的限定性从句表示作为案例研究应用该框架，并发现只有理论之一（分词 - 阶段论）的预测与实证启动模式相一致，从 - ACL通过语义图平滑获得更具辨别性的句子嵌入
通过语义图平滑，在经验上探索一种无监督学习更判别句子表示方法的方法。利用预训练模型得到的句子嵌入来提高文本聚类和分类任务的结果。经验证，我们的方法在八个基准测试中表现出一致的改进，展示了语义图平滑在改进句子嵌入用于监督和无监督的文档分类任务 - 基于大型语言模型的语义感知对照句子表示学习
通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表 - 序列标注的全局上下文机制
使用 BERT 嵌入 BiLSTM，发现将整个句子表示策略性地集成到每个单元格的句子表示中，可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中，涵盖了命名实体识别（NER）、词性标注和端到端基于方面的情感分析 - Ditto: 一种简单高效改善句向量表示的方法
该研究提出了一种名为 Diagonal Attention Pooling (Ditto) 的无监督方法来解决 BERT 等预训练语言模型中句子表示的各向异性问题，通过基于模型的重要性估计对单词进行加权，改进了语义文本相似度 (STS) 任 - 通过可逆神经网络学习解释的非耦合语义空间
本文提出了一种将 BERT-GPT2 自编码器的隐藏空间转换为更易分离的语义空间的方法，借助于基于流的可逆神经网络 (INN)，实验结果表明，这种方法能够比最新的最先进模型更好地实现语义的分离和可控性。
- ESCL: 句子表示的等变自对比学习
本文提出了一种称为 ESCL 的方法，该方法通过等变学习任务鼓励学习到的表示对某些类型的转换敏感，从而利用敏感的变换，以改善语义文本相似度任务的对比学习，并且通过在多任务学习的角度上共享模型参数来简化算法实现。最终的结果表明，该方法与以前的 - ACL句子嵌入模型中的表示偏差
本文研究表明，SOTA 句子转换器具有强烈的从属名词集偏差，这种偏差是在词汇和语法结构预定义的条件下得出的。此外，该研究还发现，成对句子之间的余弦相似度更受其名词成分集的重叠程度影响，而对于其他更精细的句法语义成分则不那么敏感。
- 基于异构图嵌入的无监督中文摘要提取
本文提出了首个基于异构图嵌入的无监督抽取式摘要方法，构造异构文本图以捕捉不同粒度的交互，并取得了在三个摘要数据集上的一致优异结果。
- EMNLP可微分数据增强用于对比句子表示学习
本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据 - EMNLP针对网页搜索有效高效的查询感知片段提取
DeepQSE 提出了一种有效的查询感知网页片段提取方法，其核心思想是将查询感知的片段提取任务分解为两个阶段，并建立查询感知的句子表示，经过实验验证，该方法具有效率和有效性。
- 对比学习的多语言表征蒸馏
该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。
- 表达任务相关句子表示的学习
通过增加一个新的目标，明确指出输入中的标签符号空间，并通过添加 [MASK] 符号来预测标签类别，以此来建立标签符号空间与句子符号空间之间的连接，并通过相邻表示的正则化来进一步指导传播，从而为有监督学习任务学习出表达丰富的句子表示，这样的模 - ACL无监督句子表示的去偏置对比学习
该研究提出了一种名为 DCLR 的新框架，使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。
- 虚拟增强支持对比学习句子表示
通过 VaSCL 提出了一种虚拟增强支持的对比学习方法， 解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强， 从而获得了无监督句子表示学习的最新最佳表现。
- EMNLP使用双动量对跨语言句子表示进行对齐
本文提出一种方法，将不同语言的句子表示对齐到统一的嵌入空间中，从而计算语义相似性，并使用 MoCo 方法进一步提高对齐质量，实现了在 Tatoeba en-zh 相似度搜索、BUCC en-zh 比特语料挖掘和 7 个数据集上的语义文本相似 - ACLHi-Transformer: 高效、有效的长文档建模的分层交互式 Transformer
提出一种称为 Hi-Transformer 的层次交互 Transformer 模型，通过学习每个句子的表示来获取全局文档信息，可以高效、有效地处理长文档建模问题。
- ACLConSERT：自监督句子表示转移的对比框架
本文提出了一种对 BERT 进行自监督 fine-tune 的对比学习框架 ConSERT，通过利用无标签文本解决 BERT 生成句子表示时的崩溃问题，进而提高了 sentence representations 的应用性能，实验结果表明在 - BERT 上语法信息编码的演进
本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。