探索双编码器体系结构用于问答
提出了一种基于双编码器的框架,引入了变分自动编码器来增强对话交互,以提高问题回答(QA)系统中答案检索的效率,并且通过使用新的几何对齐机制(GAM)与交叉编码器对齐来显著提高了模型的性能。
Jun, 2022
提出了一种新的体系结构,Task-aware Specialization for dense Retrieval (TASER),该模型通过交错共享模块和专用模块在单个编码器中实现参数共享,能够在使用密集检索模型时提高准确性并显著减少了参数数量,在五个问答数据集上实验表明,与双编码器密集检索器相比,TASER 能够在使用大约 60% 的参数的同时实现卓越的准确性。
Oct, 2022
本研究提出一种将检索器和阅读器相结合的新 KI-VQA 流程,并通过 DEDR 和 MM-FiD 两种方法进行知识密集型视觉问答 (KI-VQA) 任务,在两个著名的 KI-VQA 数据集 OK-VQA 和 FVQA 上进行了广泛评估,证明了该方法在准确率上优于现有技术。
Apr, 2023
通过研究表明,经过正确训练的标准双编码器模型在极限多标签分类问题中可以匹配或超越状态 - of-the-art 极限分类方法在 Precision@1 方面的性能,并且在可训练参数的数量上小 20 倍。
Oct, 2023
本文中,我们提出了一个简单的基线方法,使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器,通过无监督的蒸馏和适当的学生初始化,仍然可以在 BEIR 基准测试中保持 92.5%的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。
Jun, 2023
利用双通道编码器和 BERT 通道捕捉语义信息,增强 LSTM 通道获取全面的句法信息,通过异构特征交互模块动态选择重要节点,优化 Aspect Sentiment Triple Extraction 任务中的句法和语义信息的潜力,实验结果显示 D2E2S 模型在公共基准测试中超越了现有最佳表现,证明了其有效性。
Feb, 2024
基于语义引导和空间定位的深度学习编码器 - 解码器结构解决了双时相特征干扰和特定应用限制的改变检测问题,通过决策层融合双时相特征和利用双时相语义特征确定变化区域,该模型在六个数据集上验证并与 18 种最先进的改变检测方法进行比较,结果显示该模型在效率和性能上优于所有基准方法。
Nov, 2023
通过引入图神经网络,提出一种 GNN-encoder 模型,以改进密集表示检索模型的效率和性能,并在三个数据集上取得最新的最优效果。
Apr, 2022