Mar, 2022

MQDD：面向软件工程领域的多模态问题重复检测的预训练

PDF
TL;DR本文提出了一种新的方法，在 Stack Overflow 网站上收集数据并预训练多模态模型来搜索重复的问题回答。通过引入两个新的学习目标，我们设计的多模态模型可以在多种编程语言中训练，从而提高重复检测的能力。最终我们得到了一个 MQDD（Multimodal Question Duplicity Detection）模型，并发布了两个与软件工程领域相关的数据集。
发现论文，激发创造
  • 电子学习平台中的无监督问题重复和相关问题检测

    该研究提出了一种名为 QDup 的工具，它可以无需受监督的数据，利用统计和神经方法结合的无监督流程，从一个大型题目库中获取近似重复和语义相关的问题，并且在高准确率和速度下为学习者提供相关练习题。

    Dec, 2022

  • 挖掘 Stack Overflow 的重复问题

    本研究提出两个基于神经网络的架构来解决 Stack Overflow 中存在的问题复制，同时还通过显式建模问题中存在的代码进一步提高了检测质量。

    Oct, 2022

  • 对抗领域自适应在重复问题检测中的应用

    我们使用对抗域适应来检测网络论坛中的重复问题，实验结果表明平均改进了 5.6％，并且指出了该方法有效的条件以及相应的领域特征。

    Sep, 2018

  • ProCQA：一个用于编程问答的大型基于社区的代码搜索数据集

    基于检索的代码问答模型通过预训练模型使用构建的双模和单模数据集来匹配自然语言查询与相关代码片段。本文介绍了 ProCQA，一个从 StackOverflow 社区提取的大规模编程问答数据集，提供自然结构的混合模态问答对。为了验证其有效性，我们提出了一种模态不可知的对比预训练方法，以改善当前代码语言模型的文本和代码表示之间的对齐。与先前主要使用从 CodeSearchNet 中提取的双模和单模对进行预训练的模型相比，我们的模型在广泛的代码检索基准上表现出显著的性能改进。

    Mar, 2024

  • 野外多模态查询对象检测

    MQ-Det 是一种多模态查询目标检测方法，结合了文本和图像作为类别查询，该方法通过在现有的只有文本的检测器中插入可扩展的感知模块，将类别文本与类别视觉信息相结合，并提出了一种视觉条件掩码语言预测策略，可以显著提高开放式检测的性能。

    May, 2023

  • 无标签训练数据的神经重复问题检测

    本研究提出了两种方法：自动生成重复问题和使用问题标题和正文进行弱监督，研究表明这两种方法可以有效地训练社区问答中的问题检测模型，尤其是可以利用来自 cQA 论坛的大量未标记数据。同时，我们还发现使用标题和正文信息进行弱监督的方法是训练 cQA 答案选择模型的有效方法。

    Nov, 2019

  • ManyModalQA：多模态输入下的语式消歧和问答

    本文提出了一个新的多模态问答挑战 ManyModalQA，在这里代理必须考虑三个不同的模态：文本、图像和表格。我们收集数据的方式是爬取维基百科，并利用众包收集问题 - 答案对。我们的问题是有歧义的，因为包含答案的模态不仅仅基于问题就易于确定。我们构建一个模态选择器（或消歧器）网络，通过分析该模型，我们研究了问题中指示模态的哪些单词。接下来，我们构建了一个简单的基线 ManyModalQA 模型，该模型基于模态选择器的预测，触发相应的预训练单模态 QA 模型。我们提供一个新的多模态评估集，只提供一个微调集，在鼓励低资源泛化新任务时，期望现有数据集和方法能被转移。尽管基于基线模型的表现与人类表现之间存在显著差距，但我们希望这一挑战能鼓励研究多模态 QA 模型的端到端消歧和迁移学习。

    Jan, 2020

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • 使用 Quora 问题对数据集进行自然语言理解

    本文研究自然语言理解（NLU）任务，通过研究 Quora 数据集中的重复问题检测，进行了数据集的广泛探索，采用了多种机器学习模型，包括线性和基于树的模型。我们最终发现，一个简单的连续词袋神经网络模型具有最佳性能，优于更复杂的循环和注意力模型。我们还进行了误差分析，并发现数据集标签中存在一定的主观性。

    Jul, 2019

  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021