nlu | BriefGPT - AI 论文速递

关键词nlu

搜索结果 - 41

基于 MLM 数据增强的 ASR 和 NLU 流水线系统：应对低资源挑战
本文介绍了我们在 ICASSP Signal Processing Grand Challenge 2023 的 Spoken Language Understanding Grand Challenge 中低资源领域适应赛道（Track
PDFa year ago
批量提示：使用大型语言模型 API 进行高效推理
本文提出了批处理提示的简单替代提示方法，可以在批量中运行 LLM 的推理，而不是逐个样本。我们在许多数据集上验证了该方法的有效性，证明其可以同时减少时间和代币成本，并提高性能。
PDFa year ago
EMNLPContinuation KD: 基于连续优化的知识蒸馏改进
使用连续优化设计的新的知识蒸馏方法 Continuation-KD 能够更好地解决现有方法的问题，取得自然语言理解和计算机视觉任务中最优性能。
PDFa year ago
EMNLPAutoCAD: 生成对策让模型克服快捷学习
本文介绍了一个完全自动且任务不可知的 CAD 生成框架 AutoCAD，该框架结合分类器解析生成对抗数据，通过不太可能的训练生成多样性的对抗，从而系统提高了不同 NLU 任务的预训练模型在多个挑战基准测试中的翻译能力。
PDFa year ago
ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充
该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们
PDFa year ago
知识增强预训练语言模型综述
本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。
PDF2 years ago
AdaMix: 适应混合策略用于参数高效调整的模型
提出 AdaMix，在保持大部分 PLM 权重不变的情况下，通过调整每个 Transformer 层中引入的适应模块的混合来优化下游任务的性能，仅调整 0.1-0.2％的 PLM 参数即可胜过 SOTA 参数高效调整和完整模型调整的 NLU
PDF2 years ago
EMNLP使用组合端到端模型进行口语理解的标记级序列标注
通过使用 ASR 和 NLU 的组合方式，我们构建了一种组合式的 SLU 模型，其可以将语音模态转换为传统的 token-level 表示，解决了现有 end-to-end 模型中的序列标记问题，并在命名实体识别任务上优于传统的级联和直接的
PDF2 years ago
InforMask: 语言模型预训练的无监督信息遮蔽
本文提出了 InforMask 方法，使用点互信息（PMI）来选择最具信息量的 tokens 进行蒙版，并进行两种优化以提高效率，该方法在 LAMA 和 SQuAD v1、v2 基准测试上明显优于随机蒙版和以前提出的蒙版策略。
PDF2 years ago
AraLegal-BERT：针对阿拉伯语法律文本的预训练语言模型
本文介紹了 AraLegal-BERT 模型，評估其對於阿拉伯法律文件的表現。結果證明該模型在自然語言理解 (NLU) 任務上比一般的 BERT 及原始版本表現更為準確。
PDF2 years ago
KDDAlexa 教师模型：自然语言理解系统的预训练和蒸馏多十亿参数编码器
本文介绍了一个在虚拟助手 NLU 组件中进行的从预训练到蒸馏的实验，使用了介于 700M 到 9.3B 之间的参数数量不同的编码器，并从中收缩了介于 17M-170M 的较小模型，发现在预训练部分使用领域内数据可以提高模型的性能。评估结果表
PDF2 years ago
重新审视预训练语言模型及其在阿拉伯语自然语言理解中的评估
通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进
PDF2 years ago
ACL不要责怪标注者：偏见已经开始于标注指导
本研究探讨了近年来 NLU 领域中提高模型性能所依赖的标准化测试数据集的 inherent 问题： crowdsourcing 具有的 instruction bias（人工标注者所遵循的指示信息），该倾向导致被标注的数据集存在过多类似的样
PDF2 years ago
RigoBERTa：一种用于西班牙语的最先进语言模型
本文介绍了一种名为 RigoBERTa 的西班牙语最先进语言模型的设计和优势，并与其他西班牙语模型进行了性能比较，结果表明 RigoBERTa 在 13 项 NLU 任务中表现优异，达到了新的 “State-of-the-Art” 结果。
PDF2 years ago
使用 Conformer 模型进行口语理解的不同方法研究
本文研究了一种结合 ASR 和 NLU 功能的语音意图理解技术，将单个 Conformer 模型的不同组件以不同的方式进行组合，研究了各种方法的优劣，并提出了一种新的 CTS 方法来提高端到端模型的准确性和处理速度，相对于最佳的两阶段 SL
PDF2 years ago
ACL了解自然语言理解中的方言差异
通过创建一个有挑战性的 GLUE 变体（VernAcular Language Understanding Evaluation (VALUE) benchmark），该研究介绍了一组词汇和形态变换规则，构造为 African Americ
PDF2 years ago
PERT: 使用排列语言模型对 BERT 进行预训练
本文提出了一种新的预训练语言模型 (PERT)，它是一种自动编码模型，使用排列语言模型技术进行训练，并应用全词遮盖和 N-gram 遮盖以提高其性能。实验结果表明，PERT 可以在某些任务上比其他相似模型有更好的性能表现。
PDF2 years ago
P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美
通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。
PDF3 years ago
EMNLPNLI 中的泛化：超越简单启发式方法的方法
本研究对基于 BERT 架构的多种模型（适配器、孪生变压器、HEX 去偏差等）进行了几项实验，包括对数据进行子采样和增加模型大小，以探究自然语言理解（NLU）中关于从 MNLI 到 HANS 等各种特定数据集的泛化问题。研究报告了两种成功的
PDF3 years ago
EMNLP基于 Transformer 的增量自然语言理解模型实证分析
本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训
PDF3 years ago