sentence representation learning | BriefGPT

关键词sentence representation learning

搜索结果 - 10

构建更好的对比句子表示学习方法：梯度的统一范式
自监督学习在自然语言处理中的关键任务是句子表示学习，其中对比自监督学习是目前的主流方法。然而，其显著有效性背后的原因仍不清楚。本研究从梯度的角度出发，发现四种有效的对比损失可以集成到一个统一的范式中，这依赖于梯度消散、权重和比率这三个组成部
PDF4 months ago
AAAIDenoSent: 自监督句子表示学习的去噪目标
通过引入离散和连续噪声，我们提出了一种新的去噪目标，通过训练模型将噪声句子恢复为其原始形式，从而在语义文本相似性和广泛的迁移任务中实现了有竞争力的结果。
PDF5 months ago
数据 CUBE: 数据课程指导的句子表征学习
利用多任务指令调优，通过数据课程方法解决干扰问题，提升句子表示学习方法的性能。
PDF6 months ago
通过大型语言模型缩小有监督和无监督句子表示学习之间的差距
句子表示学习是自然语言处理中的一个基本任务，对比学习句子嵌入是主流技术，然而监督学习和无监督学习方法在性能上存在显著差异。本文通过实证实验回答了训练过程中导致性能差异的问题，同时通过利用大型语言模型的上下文学习能力来生成复杂模式的数据，有效
PDF10 months ago
超越语言：句子表示的全面调查
本文综述了句子表示学习的各种方法，包括传统的和基于深度学习的技术，并对该领域的主要贡献和挑战进行了系统梳理，结论强调了句子表示学习在自然语言处理中的重要性和面临的挑战，并提出了未来研究方向和改进句子表示质量和效率的潜在途径。
PDFa year ago
EMNLP句子表示的配对监督对比学习
本文提出了一种基于实例区分的方法 PairSupCon，旨在通过高级分类概念编码在语义蕴含和矛盾理解之间建立联系。该方法在各种下游任务中均取得了极好的效果，超过了先前的最先进方法。
PDF3 years ago
有条件掩码语言模型的通用句子表示学习
本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEv
PDF4 years ago
EMNLP迁移微调：以 BERT 为例
通过将短语复述关系注入 BERT，可以在不增加模型大小的情况下获得适当的表示，即可提高语义等价性评估。通过标准自然语言理解任务的实验，证明这种方法在保持模型大小的同时，有效地改进了一个较小的 BERT 模型。生成的模型在语义等价性评估任务上
PDF5 years ago
ICLR循环神经网络隐含地实现张量积表示
使用 Tensor Product Decomposition Networks（TPDNs）来近似现有向量表示，证明 RNNs 可以通过 Tensor Product Representations（TPRs）引导序列表示。
PDF6 years ago
ACL专注卷积：为 CNN 配备类 RNN 的注意机制
提出了一种名为 ATTCONV 的基于关注机制的卷积神经网络，该网络凭借从非线性上下文中提取的信息和集成到卷积操作中的关注机制，在句子级表示学习方面具有有效性。
PDF7 years ago