语义解析的领域自适应
本文提出了一种序列到序列的注意力重点改进的方法,用于跨域语义分析的域间适应问题,并且对预先训练的词嵌入进行了标准化,这种方法在 Overnight 数据集上有显着的改进。
Apr, 2017
通过使用神经网络的词表示方法,在与源领域语法相似的情况下,重新审视了领域适应。并提供了一种简单的方法,通过使用少量的部分注释来适应解析器。文章提供的新算法的结果,使华尔街日报测试集的最新单模型状态达到94.3%,比之前最先进的92.6%有一个绝对提高了1.7%。
May, 2018
本文介绍了『Domain Differential Adaptation(DDA)』的框架,该框架通过使用相关任务中的模型直接建模不同领域之间的差异,从而成功地应用于神经机器翻译的领域自适应中,并在多个实验设置中实现比其他替代方法更好的改进效果。
Oct, 2019
本篇综述针对最近的研究进展,对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述,包括从传统非神经方法到预训练模型迁移的方法,并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向,特别是面向 NLP 的超分布通用化需求。
May, 2020
本文介绍了一种新方法,使用BART进行表征学习并使用基于优化的元学习方法来提高到低资源域的泛化性能,以使任务导向的语义解析器适应低资源域,这种方法在新收集的多领域任务导向语义解析数据集(TOPv2)方面明显优于所有基线方法。
Oct, 2020
本文提出一种针对使用标准微调的神经迁移学习在特定于目标域的模式学习方面存在限制的问题的解决方案,即向预训练模型中引入归一化、加权和随机初始化的单元,以更好地适应目标域。实验证明,该方法在自然语言处理中的四项任务中表现出显著的改进。
Jun, 2021
M2D2是一个细粒度的、大规模的多域语料库,用于研究语言模型中的域适应。该语料库包含来自维基百科和语义学者的145个域,共计 8.5B 个标记。使用来自维基百科和ArXiv分类的本体结构,我们将每个数据源中的域组织到22个组中。
Oct, 2022
本文介绍了近年来自然语言处理中预训练语言模型(PLMs)的最新进展,并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案,包括输入扩充、模型优化和个性化等方法。
Nov, 2022