May, 2024

揭示句子嵌入中微调的关键要素：表示排名分析

PDF
TL;DR本研究通过使用对比学习的 fine-tuning 方法并以表示排名作为主要分析工具，分析了最新的句子嵌入方法。通过定义 fine-tuning 的两个阶段，并利用这些阶段进行全面分析，我们得出了关于对齐和一致性、语言能力以及性能和排名之间相关性的重要发现。基于这些发现，我们提出了一种排名降低（RR）策略，以促进最新的对比学习方法的快速和稳定的 fine-tuning，并通过实证研究展示了 RR 在提高五种最先进句子嵌入方法的性能和稳定性方面的有效性。
unsupervised learningsentence embeddingsfine-tuningrepresentation rankcontrastive learning-based
发现论文，激发创造
  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 低秩微调 LLMs：公平视角

    研究表明低秩逼近 Fine-Tuning 在捕捉 Fine-Tuning 数据集从初始预训练数据分布中的转变方面具有不足之处，会产生不可忽视的副作用，包括在针对有毒模型和提供公平模型的情景下意外保留不合理的偏差和有毒行为。此外，对于顺序决策任务，需要进行仔细评估以促进负责任的大型语言模型开发。

    May, 2024

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • 学习高品质和通用性的短语表示

    我们提出了一个改进的框架来以无上下文的方式学习短语表示，该框架使用短语类型分类作为辅助任务，并更有效地将字符级信息融入短语表示，通过设计三种不同程度的数据增强来增加训练样本的多样性，我们的实验结果表明，相对于先前的方法，我们的方法生成了更优秀的短语嵌入，同时还需要更小的模型大小。

    Jan, 2024

  • BERT Fine-tuning 中嵌入向量发生了什么？

    研究表明，微调 BERT 模型会显著影响其顶部层的表示，尤其是依赖解析涉及模型的大部分，而 SQuAD 和 MNLI 涉及的则较浅。此外，在域外句子的表示方面，微调的影响较弱，这表明模型泛化有待改进。

    Apr, 2020

  • 增强排名的无监督句子表示学习

    本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。

    Sep, 2022

  • Transformer 模型微调和组合之间的相互作用

    研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

    May, 2021

  • WordRank: 通过强韧排序学习词向量

    本文提出了一种基于排名问题的新框架 WordRank，即通过坚韧的排名损失函数有效地估计单词表示，并在单词类比和相似性基准测试中与现有技术进行了比较，结果表明我们的算法在大型语料库上与现有技术竞争力强，而在训练集有限（即稀疏和嘈杂）的情况下，其性能显著优于现有技术。

    Jun, 2015

  • 利用表示一致性目标提高语言模型微调

    本研究提出了一种新的 fine-tuning 方法，通过抑制表示中不必要的变化来避免表示坍塌，同时对此进行了度量，并在 13 个任务和低数据量及数据标签扰动的情况下得到了显著的性能提高。

    May, 2022

  • 利用辅助预测任务进行句子嵌入的细粒度分析

    通过对句子结构的预测任务来评估句子嵌入向量的表现，探讨了句子嵌入方法的相对优劣和向量维度对嵌入效果的影响。

    Aug, 2016