AAAIDec, 2023

多标签文本分类的组合泛化：一种数据增强方法

PDF
TL;DR通过创建独特的数据集，评估现有多标签文本分类模型对复杂概念的组合泛化能力，在此基础上引入了数据增强方法，利用两种创新的文本生成模型提高分类模型对组合泛化的能力。实验证明，该数据增强方法显著提升了分类模型在我们的基准测试中的组合泛化能力，两种生成模型均超过了其他文本生成基准。
multi-label text classificationcompositional generalizationdata augmentationtext generation modelsbenchmarks
发现论文，激发创造
  • 简洁有效的数据增强方法用于组合泛化

    数据增强方法在预训练 seq2seq 模型中对于复合泛化很有效，但仅在从正确分布中进行采样时。从均匀分布中进行采样的表现几乎与从测试分布中采样相当，并且明显优于从训练分布中采样的先前方法。我们进一步进行实验证明了这种情况发生的原因和这种数据增强方法带来的好处。

    Jan, 2024

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021

  • 测量组合泛化能力：一种基于真实数据的综合方法

    本研究提出了一种基于分子分散度最大化和原子分散度最小化的方法去构建实际应用的语言理解数据集，并通过分析三个多层次深度学习架构的表现来量化比较这种方法与其他构建复合语言理解测评基准的方法，研究表明现有的机器学习方法在复合语言理解上处于局限性表现，且都表现出惊人强的负相关性，研究结果可应用于构建和优化大规模自然语言处理应用系统。

    Dec, 2019

  • 图像字幕中的组合泛化

    该论文研究了图像编码模型的组合推广问题，使用多任务模型相结合的方法，结合了描述生成和图像 - 句子排序，并使用重新排序的解码机制，该模型在描述未见过的概念时比现有现有模型表现更好。

    Sep, 2019

  • 提高数学问题解决中的组合泛化能力

    本文研究了数学单词问题中的组合泛化，并提出了一种迭代的数据增强方法，将多种组合变化引入到训练数据中，从而显著提高了常规数学单词问题方法的组合泛化能力。

    Sep, 2022

  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 多方面控制的文本生成的组合性泛化能力基准测试与提升

    CompMCTG 是一个综合多方面标记数据集和三维评估协议的评估基准，用于评估 MCTG 方法的组合泛化能力，而 Meta-MCTG 是一种训练框架，通过在训练阶段模拟组合泛化场景，使模型能够学习如何泛化，并在 94.4% 的情况下在组合测试性能方面明显改善（最多提高 3.64%）。

    Apr, 2024

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • Text AutoAugment: 学习文本分类的组合增强策略

    Text AutoAugment 是一种数据增强方法，通过贝叶斯优化算法自动寻找最佳组合操作作为增强策略应用于训练数据。该方法显著提高了模型的泛化能力，并在六个基准数据集上表现突出，特别是在低资源和类不平衡情况下，相应的分类准确率平均分别提高了 8.8% 和 9.7%。

    Sep, 2021

  • 多模态模型中的顺序组合泛化

    本研究通过研究多模态设置下的顺序组合泛化，检验了使用 CompAct（组合活动）数据集在丰富的自我中心厨房活动视频背景中。研究发现，双模态和三模态模型明显优于仅文本的对应模型，强调了多模态在未来研究中的重要性。

    Apr, 2024