dense representations | BriefGPT

关键词dense representations

搜索结果 - 11

ACL从技术领域的术语和短语中提取文本表示
本文提出了一种全无监督的文本编码方法，通过训练小型基于字符的模型重构预训练的嵌入矩阵，该方法不仅能够在技术领域匹配句子编码器的质量，而且比后者体积小 5 倍且速度高达 10 倍，解决了大规模技术领域下词汇量增加的问题。
PDFa year ago
WWW面向大规模检索的词库增强密集检索器 (LED)
本研究提出一种基于知识蒸馏的方法，将富有知识的词典嵌入模型对齐到密集检索模型中，从而在第一阶段检索中取得稳定且显著的提高。在三组公开数据集上的实验证明了该模型的有效性，并且与标准排名器蒸馏相结合可以进一步提高检索效果。
PDF2 years ago
自监督视觉表示学习的孪生图像建模
该研究提出了一种新的自监督学习方法 Siamese Image Modeling，它通过预测同一图像的不同视图的表示来达到语义对齐和空间敏感的目的，这种方法在 ImageNet 微调和线性探测、COCO 和 LVIS 检测以及 ADE20k
PDF2 years ago
SIGIR从蒸馏到硬负采样：使稀疏神经 IR 模型更加有效
本文研究基于稀疏表达的 SPLADE 检索器的训练提升方法，结合蒸馏、硬负例挖掘以及预训练语言模型初始化，证明其在效率和效果方面同样具有优势，能够在领域内和零样本情况下实现最先进的结果。
PDF2 years ago
EMNLPGNN-encoder：通过图神经网络学习双编码器架构，用于密集通道检索
通过引入图神经网络，提出一种 GNN-encoder 模型，以改进密集表示检索模型的效率和性能，并在三个数据集上取得最新的最优效果。
PDF2 years ago
ACL通过生成伪查询嵌入以改善密集检索的文档表示
本论文提出了一种基于聚类的检索模型，通过迭代聚类过程来模拟查询，并将文档表示为多个伪查询，通过两步得分计算程序优化匹配函数，实现了高效的近似最近邻搜索，达到了最先进的结果。
PDF3 years ago
EMNLP面向交谈式搜索的上下文化查询嵌入
本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会
PDF3 years ago
开放域问答的高效内存基线
本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在 TriviaQA 和 NaturalQuestions 数据集上进行评估后，发现使用不到 6GB 的内存就能获得可以与竞品相媲美的系统。
PDF4 years ago
密集视觉表示的无监督学习
本文提出了一种名为 VADeR 的无监督学习方法，通过像素级对比学习来学习像素级别的视图无关的密集表示，该方法在多个密集预测任务中优于 ImageNet 监督预训练和强无监督基线。
PDF4 years ago
使用紧密耦合的教师将密集表示提炼为排名
通过知识蒸馏，将 ColBERT 中用于计算相关性分数的 MaxSim 操作的知识提取出来，应用于密集表示的排名方法中，从而提高了查询延迟并减少了 ColBERT 的存储开销。同时，将我们的密集表示与从文档扩展中导出的稀疏表示相结合，可以接
PDF4 years ago
EMNLP用于开放式领域问答的密集式检索
本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠
PDF4 years ago