Nov, 2019

用于问答系统中语义检索的多任务句子编码模型

HTML
PDF
TL;DR本文提出了一个多任务句子编码模型(MSEM)用于Paraphrase Identification（PI）问题。我们使用连接图表示句子之间的关系，并应用多任务学习模型来解决句子匹配和意图分类问题。此外，我们实现了一个通用的语义检索框架，结合了我们提出的模型和近似最近邻（ANN）技术，可以在在线服务中快速地找到最相似的问题。实验结果表明，我们提出的方法与现有的句子匹配模型相比具有优越性。
发现论文，激发创造
  • 通过词汇分解和组合学习句子相似度

    本文提出了一个基于词汇语义分解和组合、双通道CNN模型的方法，不仅考虑输入两个句子的相似部分，同时也利用它们的不相似部分，从而可以更准确地比较句子相似度。实验表明，该模型在答案句子选择任务上取得了最好的表现，并在释义识别任务上取得可比较的结果。

    Feb, 2016

  • 用于复述识别、语义文本相似性、自然语言推理和问答的神经网络模型

    本文分析了几种神经网络设计（及其变体），对八个数据集进行了广泛的比较，包括释义识别、语义文本相似性、自然语言推断和问题回答等任务。我们提供了一个系统的研究，表明编码上下文信息的 LSTM 和句间交互至关重要，而 Tree-LSTM 并不能像先前宣传的那样有所帮助，但却出人意料地提高了 Twitter 数据集的性能；增强顺序推理模型是迄今为止较大数据集的最佳选择，而基于词对交互的模型在较少数据可用时实现最佳性能。我们将我们的实现作为开源工具包发布。

    Jun, 2018

  • 采用平滑深度度量学习的大规模问题改写检索

    本文旨在提出一种基于神经网络句子编码器和近似k最近邻索引的新型QPR系统来理解和回答广泛应用于社区问答和开放领域口语问答系统中的稀有和嘈杂的问题再述形式，并通过远程监督从问答日志自动产生一份问题近义复述检索试验的注释数据集；在两个QPR数据集上的实验结果表明，相较于三元损失在嘈杂标签环境下表现不佳，我们提出的平滑深度度量损失（SDML）明显优于三元损失。

    May, 2019

  • 大规模知识库对话问答的多任务学习

    本论文提出了一种基于多任务学习的框架，通过引入指针设备的语义解析模型和新型类型感知实体检测模型，实现共享监督信号、减轻误差传播影响，并在大规模对话问答数据集上进行实验，将总体F1分数从67％提升到79％。

    Oct, 2019

  • 基于上下文嵌入的卷积神经网络用于重复问题识别

    本文提出了一种结合双向转换编码器和卷积神经网络的新架构来处理QPI任务，其中使用了Siamese和Matched Aggregation两种推断设置，经实验证明，在这两种推断设置下，该模型在Quora Question Pairs数据集上实现了最新的最佳性能，并分析了部分和完全微调的影响以及计算能力与准确性之间的权衡。

    Sep, 2021

  • 多跳问答的语义句子组合推理

    针对多跳领域问题，通过多段语义匹配模块（MSSM）和事实句子构成模块（FSC）的结合，提出了一种语义句子组成推理方法，其能提供更全面的上下文信息，实验结果表明该模型能结合现有的预训练语言模型，在 QASC 任务上的表现优于现有的 SOTA 方法约 9%。

    Mar, 2022

  • DEIM：一种有效的句子匹配深度编码与交互模型

    通过深度编码和交互来提取深层语义信息的句子匹配方法，使用自注意机制和双向注意机制获得深层语义信息并进行分类，适用于文本蕴含识别、释义识别和答案选择，实验证明其可有效提取深层语义特征并验证其在句子匹配任务中的有效性。

    Mar, 2022

  • 使用相关采样的多任务检索增强文本生成

    该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性：查询-答案对与知识库中项目的联系，我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本，以确定是否可以通过知识库回答一对查询-答案。我们在KILT基准测试的七个组合任务上对单个FiD生成器进行训练。实验结果表明，我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线，并在其余任务上显示出较小的改进或无显着退步。此外，我们表明，与增加的模型容量一样，我们的关联标签采样的多任务训练能够良好地缩放，并在KILT任务的五项中取得了最佳结果。

    Jul, 2022

  • 语义搜索中的多任务查询-回应交互用于聊天机器人候选人检索

    提出了一种基于多任务学习的语义搜索神经网络 (Multitask-based Semantic Search Neural Network, MSSNN) 方法，该方法通过多任务实现查询-响应交互，并用 Seq2Seq 模型训练优秀的查询编码器，执行单词预测任务构建响应嵌入，最后进行简单的匹配模型构建点积评分器，实验手段证明了该方法的潜力。

    Aug, 2022

  • 针对少样本面向任务常见问题检索的多租户优化

    本研究提出一种新方法，通过对句子双编码器中最后一层进行对比微调以及租户特定的权重切换，以实现多租户 FAQ 应用程序的实际部署，从而优化速度，准确性和成本。

    Jan, 2023