Sep, 2023

无监督的具有语言模型的对比一致排序

PDF
TL;DR通过引入对比一致性搜索（CCR）方法，我们研究了语言模型排名任务中的一致性排名，结果证实 CCR 探测优于提示，甚至与提示更大的语言模型性能相当。
language modelsranking knowledgeprompting-based techniquescontrast-consistent rankinglanguage model probing
发现论文，激发创造
  • 提升跨语言跨模态检索中的一致性：基于 1-to-K 对比学习

    提出了一种简单但有效的 1 对 K 对比学习方法，平等对待每种语言，消除错误传播和优化偏差的问题，并提出了一个新的评估指标 Mean Rank Variance（MRV），来反映每个实例内不同语言之间的排名不一致。在四个 CCR 数据集上进行的广泛实验表明，我们的方法在小规模预训练数据上提高了召回率和 MRV，并取得了新的最新成果。

    Jun, 2024

  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 基于预测的大型语言模型排序

    使用统计框架，我们可以以一定的概率保证，通过人类和强大的大型语言模型的成对比较排名结果覆盖了人类偏好的真实排名。

    Feb, 2024

  • 多语言语言模型中事实知识的跨语言一致性

    对多语言大规模预训练语言模型进行研究，发现不同语言之间的事实知识存在显著差异。为了确保具有不同语言背景的用户从同一模型中获得一致的反馈，我们提出了一种基于排名的一致性评估指标，并对模型层面和语言对层面的一致性决定因素进行了深入分析。研究结果表明，增加模型规模可以提高大多数语言的事实检测准确性，但无法改善跨语言一致性。通过在模型编辑中插入新的事实关联进行的案例研究显示，新的知识仅传递给与英语具有较高排名一致性得分的语言。

    Oct, 2023

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • 无监督上下文感知句子表示预训练在多语言密集检索中的应用

    本文介绍了一种简单有效的单语言预训练任务 —— 对比上下文预测 (contrastive context prediction, CCP)，通过学习建模句子级上下文关系来学习句子表示，从而使句子配对对齐，并使用语言特定的存储器库和非对称批标准化操作来防止模型崩溃和信息泄漏，在不使用双语数据的情况下，在多语言检索任务 Tatoeba 上实现了新的最佳结果，在跨语言查询 - 段落检索任务 XOR Retrieve 和 Mr.TYDI 中，该模型在所有使用双语数据的预训练模型中在零样本和监督设置 (both zero-shot and supervised setting) 中都取得了两个最新成果。

    Jun, 2022

  • LLM-RankFusion：基于 LLM 的排名中内在不一致问题的缓解

    使用语言模型比较并排序排名的矛盾问题，我们提出了一种使用 LLM-RankFusion 的方法，它有效地减少了排序的不一致性，提高了排名质量。

    May, 2024

  • 时间序列分类的排序监督对比学习

    提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

    Jan, 2024

  • 对比一致性搜索的优化目标比较

    通过调整超参数，我们提出了一种名为中点位移（MD）损失函数，它通过优化目标对比一致搜索（CCS）来恢复大型语言模型的内部表示，并展示了 MD 损失函数在更好的超参数下获得了比 CCS 更高的测试精度。

    Nov, 2023

  • 学习丰富排序

    采用基于选择建模的上下文重复选择（CRS）模型，结合多模态模型，提供了生成丰富的排名空间的工具，同时使用结构相关的尾部风险和期望风险界限，对该模型的最大似然估计提供了严格的理论保证，并且在多项式逻辑选择模型（MNL）和 Plackett-Luce（PL）排名模型的预期风险以及 PL 排名模型的尾部风险方面也提供了前所未有的紧密界限。该 CRS 模型在各种场景下明显优于现有的排名数据建模方法，包括比赛和排名投票。

    Dec, 2023