ACLJan, 2023

友好训练：从不同但相关任务的模型中学习

PDF
TL;DR本文提出了一种名为 friend-training 的交叉任务自训练框架，并利用伪标签在迭代训练和重新训练过程中互相帮助，以提高不同任务的模型性能，研究结果表明与强基线模型相比，采用了 friend-training 框架的模型在对话理解中取得了最佳性能。
self-trainingnatural language processingfriend-trainingdialogue understandingpseudo-labeling
发现论文，激发创造
  • 神经会话模型中的说话者角色自适应多任务学习

    本文提出了一种使用多任务学习方法训练神经会话模型的方式来解决根据具体发言人训练缺乏数据、建立基于角色的会话代理的问题。实验证明该方法显著提高了基线模型的质量，生成更准确地捕捉发言者特征和讲话风格的响应，并且该方法算法简单易实现，不依赖于代表特定个体发言者的大量数据。

    Oct, 2017

  • 一种联合多任务模型：为多个 NLP 任务构建神经网络

    本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。

    Nov, 2016

  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • 基于多任务学习的文本分类循环神经网络

    本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

    May, 2016

  • 自训练提高了面向任务的对话系统中 Few-shot 学习的预训练

    研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

    Aug, 2021

  • 有效多任务和多语言建模的元学习

    通过元学习方法，将任务和语言相互作用的表征共享，可提高自然语言处理任务和多语种任务性能。

    Jan, 2021

  • 学习自定义模型结构以完成少样本对话生成任务

    本研究提出了一种算法，通过 few-shot 方式在每个任务中定制唯一的对话模型，其中每个对话模型包括共享模块、门控模块和专用模块，实验证明这种方法在任务一致性、响应质量和多样性方面优于所有基线。

    Oct, 2019

  • 多任务端到端训练改善对话式推荐

    本文基于 T5 文本转文本的 transformer 模型，将多任务端到端模型应用于对话推荐任务，实现了推荐相关项目和生成对话的双重目标，其中多任务学习和来自 ReDIAL 数据集的探针研究得到了应用。

    May, 2023

  • 用于科学文献理解的预训练多任务对比学习模型

    本文提出了一种多任务对比学习框架（SciMult），采用任务感知分化技术和指令调整技术，在多种科学文献的理解任务中优于现有科学语言模型。

    May, 2023

  • 语音和语言处理的迁移学习

    该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

    Nov, 2015