dual-encoder architecture | BriefGPT

关键词dual-encoder architecture

搜索结果 - 12

RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类
该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌
PDFa month ago
CVPR双重姿态不变嵌入：为识别和检索学习类别和对象特定的区分性表示
提出一种基于注意力机制的双编码器架构，通过特定设计的损失函数，在两个不同的嵌入空间中同时优化类别嵌入和对象级别嵌入，用于姿态不变的物体识别和检索。在三个具有挑战性的多视图数据集上验证了方法的优越性。
PDF4 months ago
UniRetriever：多任务候选选择用于各种上下文自适应式会话检索
我们提出了一种多任务框架，作为会话中三个主要检索任务（个人选择、知识选择和回复选择）的通用检索器，通过设计一个双编码器体系结构来检索相关上下文，通过点积方法检索适合的候选项，并引入两个损失约束来捕捉对话上下文和不同候选项之间的微妙关系。实验
PDF4 months ago
EMNLP密集检索作为大空间决策的间接监督
通过将大空间的判别式自然语言理解任务重新构造为学习检索任务，采用密集检索方法来解决大决策空间的预测问题，提高了预测的泛化能力和决策表示的语义意义。
PDF8 months ago
基于卷积和 Transformer 的视频帧插帧网络
本文提出一种创新的方法，将 Transformer 编码器和卷积特征相结合，从而减少了近 50% 的内存负担，在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍，并引入双编码器架构来结合局部相关的卷积和远程相关
PDFa year ago
使用双重多模式编码器对合成图像检索进行候选集重新排序
该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。
PDFa year ago
WWWHierCat: 在 Facebook Marketplace 上利用弱监督数据进行层级化查询分类
本文提出了一种名为 HierCat 的查询分类系统，该系统通过使用双编码器体系结构的多任务预训练和分层推理步骤来从弱监督训练数据中有效地学习，以解决 Facebook Marketplace 等客户对客户电子商务平台上查询分类的挑战。实验结
PDFa year ago
音乐对比语音学习
本研究旨在探讨通过自然语言与音频之间的跨模态学习实现音乐语义理解任务的方法，提出了一种名为 MusCALL 的框架，采用双重编码器架构进行跨模态学习，实现音频和描述语句的对齐，生成用于文本到音频和音频到文本检索的多模式嵌入，实验表明我们的方
PDF2 years ago
MILES: 注入语义来实现视频文本检索的视觉 BERT 预训练
本文应用了基于遮蔽的视觉建模（Masked visual modeling）技术在双编码器（dual-encoder）架构下进行视频文本预训练，并利用额外的视频编码器作为 “tokenizer” 去产生预测目标，并通过在空间和时间维度上进行
PDF2 years ago
EMNLPGNN-encoder：通过图神经网络学习双编码器架构，用于密集通道检索
通过引入图神经网络，提出一种 GNN-encoder 模型，以改进密集表示检索模型的效率和性能，并在三个数据集上取得最新的最优效果。
PDF2 years ago
ACLPAIR：基于片段相似性关系提升密集型文本检索
该研究提出了一种利用查询中心和段落中心相似性关系（称为 PAIR）进行密集段落检索的新方法，同时引入了高质量的伪标记数据，通过两阶段训练过程，显著提高了检索性能。
PDF3 years ago
ACLRocketQA: 开放领域问答中基于密集文本检索的优化训练方法
本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 en
PDF4 years ago