Mar, 2022

Clozer: 适应性数据增强用于填空式阅读理解

PDF
TL;DR本文提出了 Clozer，一种基于序列标注的填空答案提取方法，用于 TAPT 从而提高模型性能，并在多项选择式 MRC 任务上进行了实验，证明 Clozer 在能够独立识别黄金答案的同时，提高了 TAPT 的有效性。
task-adaptive pre-trainingcloze answer extractionmachine reading comprehensionlabelled dataperformance improvement
发现论文，激发创造
  • 基于 “洞穴填充” 的自注意力网络预训练

    本研究提出了一种新的预训练双向 Transformer 模型的方法，通过解决一种词重建任务来提高语言理解问题的性能，实验表明，在 GLUE 和 NER 以及组分分析基准测试上获得了大幅度的性能提高，模型的各种因素对于有效的预训练起到了积极的贡献。

    Mar, 2019

  • 基于提示的填空数据增强生成式少样本问答

    本研究开发了 Gotta，一种基于生成式提示的的数据增强框架，旨在改善 few-shot question answering 学习中深层语义推理的挑战。研究表明，Gotta 始终优于竞争基线，验证了基于提示调整的背景填充任务的有效性，在 QA 任务中学习指导推理并提高语言模型扩展任务能力的优点。

    Jun, 2023

  • 利用 Cloze 问题进行少样本文本分类和自然语言推理

    本文介绍了一种半监督式的训练程序，称之为 PET，用来在低资源环境下学习某些 NLP 任务，并通过将输入示例转化为填空样式的短语来帮助语言模型理解给定任务

    Jan, 2020

  • TAP: 面向 Text-VQA 和 Text-Caption 的文本感知预训练

    本文提出了一种名为 TAP 的方法，通过使用光学字符识别引擎生成的图像文字来预训练模型，从而帮助模型在三种模态 —— 文本单词、视觉对象和场景文本中学习更好的对齐表示，在多个任务上均表现出卓越的性能。

    Dec, 2020

  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 漫画文本补全的多模态 Transformer

    这项研究通过引入一种新颖的多模态大型语言模型（Multimodal-LLM）架构，特别设计用于文字片断选择的闭合任务（Text-cloze），并通过使用 SimCLR 以自监督的方式将 comics 领域进行了特定调整，以达到比现有最先进模型在易和难两种变种中提高了 10% 的效果。

    Mar, 2024

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 半监督式填空式阅读理解的多角度上下文聚合

    本文提出了一种新颖的多角度框架，用于衡量自然语言理解的进展，并在 CLOTH 数据集上实现了最新的最佳表现。

    Aug, 2018

  • Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

    本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。

    Jul, 2022

  • 注意力求和读者网络的文本理解

    该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

    Mar, 2016