PADA: 基于样例的提示学习,用于未知领域的即时自适应
使用多任务学习方法,缩短新任务学习所需的数据量,以提高自然语言理解中的slot填充模型适配多目标任务或领域的效率。该多任务模型可以利用在其他任务中学习到的模式,以较少的数据获得更好的性能,并支持开放词汇,可以很好地应用于微小数据量的训练。实验结果显示了该方法在四个不同领域中的适配效果和开放词汇技术的有效应用。
Apr, 2016
通过使用神经网络的词表示方法,在与源领域语法相似的情况下,重新审视了领域适应。并提供了一种简单的方法,通过使用少量的部分注释来适应解析器。文章提供的新算法的结果,使华尔街日报测试集的最新单模型状态达到94.3%,比之前最先进的92.6%有一个绝对提高了1.7%。
May, 2018
本文介绍了『Domain Differential Adaptation(DDA)』的框架,该框架通过使用相关任务中的模型直接建模不同领域之间的差异,从而成功地应用于神经机器翻译的领域自适应中,并在多个实验设置中实现比其他替代方法更好的改进效果。
Oct, 2019
本篇综述针对最近的研究进展,对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述,包括从传统非神经方法到预训练模型迁移的方法,并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向,特别是面向 NLP 的超分布通用化需求。
May, 2020
提出了一种新的学习方式:从头开始进行领域自适应,以便在隐私保护的情况下将NLP扩展到敏感领域。研究比较了几种方法,包括数据选择和领域自适应算法以及主动学习方法,在情感分析和命名实体识别等两个NLP任务上进行了验证,结果表明结合上述方法可以缓解领域差距并进一步提高结果。
Sep, 2022
本文介绍了近年来自然语言处理中预训练语言模型(PLMs)的最新进展,并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案,包括输入扩充、模型优化和个性化等方法。
Nov, 2022
通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略,我们研究了适应语言模型从源领域到目标领域的问题,以学习目标领域分布并通过语言建模实现任务信号的适应,从而在情感分析和命名实体识别任务中实现了显著的性能提升。
Nov, 2023
通过在无标签数据上进行句子掩码模型训练(MLM)和源标记数据上进行监督指导训练,采用自监督学习和提示模型术语分类方法,我们提出了一种叫做困难易化领域适应(FEUDA)的方法,通过训练一个自回归语言模型,从源和目标领域的标签和无标签示例中,来学习领域不变表征,以提高目标领域的分类性能。
Jan, 2024