Jan, 2024

低标注预算约束下领域特定问答精调策略

PDF
TL;DR在本研究中，我们通过对不同 QA 数据集上的顺序微调策略的性能进行全面分析，证明了传统的基于预训练语言模型和微调策略在低预算设置下是次优的。我们的实验结果表明，在低预算设置下，最佳策略是使用预训练语言模型，并将其与目标数据集和 SQuAD 数据集进行微调。在不额外标注的情况下，该策略的性能优于标准策略 2.28% 至 6.48%。这些实验结果对于 QA 从业者在低预算下如何最好地微调 QA 系统具有极大的实用价值。
pre-trained language modelsfine-tuningqa modelssequential fine-tuninglow-budget settings
发现论文，激发创造
  • 为神经排序模型微调标注数据？当前主动学习策略不如随机选择

    本文研究了在有限的训练数据和预算下微调基于预训练语言模型的排序器，发现随机选择不同子集的训练数据进行微调时产生的有效性存在巨大的变化，并探究了主动学习策略在降低标注成本方面的有效性

    Sep, 2023

  • 无监督的问答模型自适应

    通过无监督的大语言模型适应，研究论文探索了在不同目标领域中提供正确答案的问题回答，并研究了输入标记替换等方法来部分缓解中间和末尾信息获取的困难。

    Feb, 2024

  • 有预训练还是有标注数据？在有限预算条件下进行领域自适应

    本文主要研究了如何在有限预算的情况下，通过选取最佳的数据标注和预训练策略，优化 NLP 领域的域适应问题，研究表明，小预算情况下，全部资金用于数据标注可以获得最好的性能表现，但预算足够大时，则在数据标注和领域内预训练之间进行平衡会更好。

    Sep, 2021

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • 跨域问答泛化学习

    通过结合提示方法和线性探针 fine-tuning 策略，我们提出了一种新颖的方法，可以有效提高生成模型和判别模型的泛化能力，特别在跨领域问题回答 (QA) 任务上表现优异。

    May, 2023

  • 战略性学习：学习如何在闭卷问答中进行遮盖

    通过训练遮盖策略，从而在中间预训练阶段将任务相关知识封装到语言模型的参数中，该方法在 TriviaQA 上的表现优于强启发式方法，而用于 BART 的表现则更为强大。

    Dec, 2020

  • FewshotQA：一种用预训练文本到文本模型进行少样本学习的问答任务简单框架

    本研究提出一种简单的微调框架，利用预先训练的文本模型与其预训练框架直接对齐，将问题、掩码代表答案范围和上下文连接为输入，使用相同的目标进行微调，通过实验研究表明该模型在各种 few-shot 配置下均取得了显著的增益。

    Sep, 2021

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • FiTs：知识感知问答的精细二阶段训练

    该论文提出了一种 Fine-grained Two-stage training framework (FiTs) 框架用于知识感知问答，通过对齐预训练语言模型和知识图谱中的表示来提高模型的性能。在细节上，研究者通过两个自监督任务对模型进行微调，实验结果表明，这种方法在 CommonsenseQA、OpenbookQA 和 MedQA-USMILE 等三个基准测试中都达到了最优表现。

    Feb, 2023