ACLMay, 2023

TAPIR：基于双通道模型的增量自适应自然语言理解修订学习

PDF
TL;DR本文介绍了一种新的 AdaPtIve 修订方法，即 TAPIR，能够利用神经网络和增量式处理、修订来更快地处理自然语言，同时保持全序列的准确性。实验证明，与重启增量转换器相比，我们的模型具有更好的增量性能和更快的推导速度。
languagenlp systemsneural network-based approachesincremental processingtwo-pass model
发现论文，激发创造
  • 基于 Transformer 的增量自然语言理解模型实证分析

    本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训练模型等待正确的上下文也有助于减轻性能下降以及使用输入前缀进行训练有助于提供正确的部分输出。

    Sep, 2021

  • 非递增编码器时代的增量处理：双向模型在增量自然语言理解中的实证评估

    研究了在交互系统中，使用增量接口对双向编码器进行逐步处理的可能性，结果支持可以保留大部分双向编码器非增量质量。

    Oct, 2020

  • 神经网络语言模型的增量适应策略

    本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

    Dec, 2014

  • 具有 Transformer 的内存高效的持续学习

    使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

    Mar, 2022

  • 仅时间揭示一切：通过重启增量性解释 Transformer 如何处理局部歧义

    通过分析增量转换器的内部状态，研究了其在修订上的优势，并展示了各向异性编码器和依赖解析在意义表示和修订方面的优势。

    Feb, 2024

  • 修订 Transformer：摆脱被禁止的事情

    本文介绍了 Revision Transformer (RiT) 模型，该模型使用信息检索来促进轻松的模型更新，同时将大规模预训练的当前变压器语言模型与清晰结构的修订引擎的特定组合结合起来，以帮助用户交互地更新模型的知识，从而实现个性化 AI 模型。

    Oct, 2022

  • 由极少数据启动增量对话系统：对话语法的泛化能力

    本研究探讨使用小量未标记数据自动诱导任务型对话系统的端到端方法，利用动态句法和类型理论与记录相结合的增量语义语法和强化学习，其产生的系统是增量的，可以处理 74％的 Facebook AI bAbI 数据集，和 65％的 bAbI + 语料库，并比较了当前最先进的检索模型 MemN2N，揭示出其对 bAbI + 的转换的性能非常差。

    Sep, 2017

  • 优质修订铺就道路：增量序列标注中修订策略的详细评估方法

    基于输入产生输出前缀的增量对话模型组件存在因局部模糊或错误假设而导致错误，修正过去的输出的能力是一种可取的特性，可以由策略管理。本文系统化并描述增量序列标注中的编辑和修订，并提出评估修订策略的度量指标。然后，我们将这种方法应用于比较三种基于 Transformer 的编码器在不同任务中的增量行为，为更好的修订策略铺平道路。

    Jul, 2023

  • ILASR: 面向生产规模的隐私保护增量学习对于自动语音识别

    本文提出了一种用于自动语音识别的隐私保护增量学习框架，使用了未经人类标注的临时数据和大批量训练，显示出该框架在云端环境中的高实时性和实际应用性。该框架提高了生产模型的表现，尤其是在新时间段的新词和短语测试中。

    Jul, 2022

  • 基于强化和模仿的交互式预测神经机器翻译

    通过交互式预测神经机器翻译框架进行模型个性化，并借助强化学习和模仿学习的方法。在交互式的过程中，用户可以反馈不确定区域的翻译结果，并能提交编辑建议，我们通过集成这些反馈，使用约束束搜索，对模型进行调整迭代，实验结果表明，相对于传统监督模型，该模型更易于个性化，并且具有相近的翻译性能

    Jul, 2019