使用多任务学习方法,缩短新任务学习所需的数据量,以提高自然语言理解中的 slot 填充模型适配多目标任务或领域的效率。该多任务模型可以利用在其他任务中学习到的模式,以较少的数据获得更好的性能,并支持开放词汇,可以很好地应用于微小数据量的训练。实验结果显示了该方法在四个不同领域中的适配效果和开放词汇技术的有效应用。
Apr, 2016
本文提出了一种支持多任务领域自适应的神经网络框架,并应用于中文分词和命名实体识别两个任务的领域自适应。实验结果表明,该框架比独立的领域自适应方法在两个任务上都获得更好的结果,并在社交媒体领域达到了最先进的水平。
Aug, 2016
本研究提出一种使用核心模型和多组领域特定参数的新方法,通过采用提示调优和适配器技术,结合额外层次的参数训练,使得模型能够在各个领域表现出色,甚至在某些领域超越现有模型。此外,我们还分析了各自适应策略的优势、劣势和最佳超参数,最后引入了一种基于文档的领域检测流程,提高了本研究在未知文本领域情景下的适应性和实用性。
Apr, 2024
本论文提出了一个系统化的分类方法,将 LLMs 领域专业化技术分类,并讨论了适用于这些技术的关键应用领域的问题和前景,对当前研究状态和未来趋势进行了深入剖析。
May, 2023
本文提出一种创新的方法,将不同领域和不同设备的模型整合成一个统一的模型,使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性,并通过仔细的消融研究表明每个创新的好处,实验证明我们提出的统一建模方法实际上优于精心调整的专业领域模型。
May, 2022
本文提出了使用分布式词表示有效地将一个领域中学习的模型适应到其他领域的方法,并分析了不同领域之间的语言变异以识别可以提高性能的语言见解,提出了捕捉词汇用法的领域特定语义的方法,并演示了如何有效地使用此类领域特定知识来学习在领域适应设置中优于以前基准的 NER 模型。
Dec, 2016
本文研究使用多任务组合框架解决情感和情绪分析中的三个问题,并通过使用卷积神经网络(CNN)、长短期记忆网络(LSTM)和门限循环单元网络(GRU)等三种深度学习模型以及手工特征表示进行预测,实验结果显示出本文提出的多任务组合框架的有效性,对于大部分问题和领域都获得了 2-3 个百分点的性能改进。
Aug, 2018
本文提出一种基于多领域音频模型的教师 - 学生训练框架,成功地构建了一个应用于多个领域的音频模型,通过对两种不同域名的语音风格实验验证效果,取得了比基线模型(多条件模型)更好的结果,相对字符错误率提高达到了 10.4%。
Jul, 2019
本文介绍了一个能够支持自然语言处理工作流的开源框架,该框架包含了一个统一的数据表示方法和一个包含处理器、可视化和注释的大型处理库,提供了简单组装和互操作性,并能够轻松扩展以接入其他自然语言和深度学习库。
Mar, 2021
本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序,包含了多个适应步骤,并利用伪造数据和领域内句子的优化目标函数,旨在在新的、看不见的领域内显著减少培训的数据需求,其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。
Mar, 2016