Jun, 2022

MMTM：用于数学应用题的多任务多解码器变换器

PDF
TL;DR提出一种新的神经网络模型 MMTM，利用多任务和多解码器，在预训练期间创建变体任务，使用特定任务的解码器并使用 Transformer 架构。该模型在对抗性挑战数据集 SVAMP 上相对于 Seq2Seq，GTS 和 Graph2Tree 等模型有 19.4％的相对性能提高来取得更好的数学推理能力和普适性。
neural architecturesmath word problemsexpression treesmulti-taskingadversarial challenge
发现论文，激发创造
  • 提升神经数学问题求解器的技术

    该研究提出了一种基于编码器 - 解码器的模型，完全利用问题文本并保留逐步的交换律，以产生无论数量的排列方式如何都具有不变性的表达式嵌入，并进一步对问题文本进行编码以指导解码过程，可以提高数学问题自动求解程序的性能。

    Feb, 2023

  • MaMMUT：联合学习多模态任务的简单架构

    我们提出了一种使用解码器模型进行多模式任务训练的新范例，其中 MaMMUT 作为一个简单的模型，能够通过新颖的文本解码器的两次传递方法容纳对比和生成学习，并能够直接扩展到开放词汇的对象检测和视频语言任务，且该模型在多个任务上均取得了最佳效果。

    Mar, 2023

  • MTMamba: 基于 Mamba 的多任务稠密场景理解的增强解码器

    多任务密集场景理解的模型 MTMamba 利用 Mamba 处理长程依赖，并通过交叉任务交互显式地建模任务间的信息交流，实现了对语义分割、人体解析和目标边界检测任务在 PASCAL-Context 数据集上超越先前最佳方法的性能提升。

    Jul, 2024

  • MDMMT：用于视频检索的多领域多模态 Transformer

    通过对多个视频字幕数据集的正确组合，我们在 MSRVTT 和 LSMDC 基准测试上提出了一种新的文本到视频检索任务的最新技术，成果展示了在无微调的情况下，单一模型在两个数据集上实现了最先进的结果。

    Mar, 2021

  • 使用 Transformer 关注数学语言

    使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

    Dec, 2018

  • HiMTM: 面向长期预测的分层多尺度遮蔽时间序列建模

    通过使用多尺度层次掩蔽时间序列建模方法，HiMTM 在提升多尺度特征提取能力的同时，通过实验证明其在时间序列预测准确性上具有明显优势，并在天然气需求预测领域得到了有效应用。

    Jan, 2024

  • 通用多语言文档编码器

    本研究使用维基百科作为训练数据，通过交叉语言对比的目标来训练具有上下文感知的浅层文档转换器，它可以用于监督和非监督文档级任务。该模型在两个常见的跨语言文档级任务中比基于段落的表示和多语言 Longformer 表现更好，并成功推广到了未见过的语言上。

    May, 2023

  • MTLB-STRUCT @PARSEME 2020：使用多任务学习和预训练掩码语言模型捕获未见到的多词表达式

    该论文描述了一个半监督系统，该系统同时学习语言多词表达（VMWE）和依赖关系解析树作为辅助任务，并利用预训练的多语言 BERT。该系统已参加了 PARSEME 共享任务 2020 年的公开赛，排名第一，并在所有 14 种语言中平均识别未见过的 VMWE 以及 VMWE 的 F1 分数方面表现出色。

    Nov, 2020

  • 多任务序列到序列学习

    本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

    Nov, 2015

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018