实时学习生成并修复语言

Aug, 2023

Learning to generate and corr- uh I mean repair language in real-time

Arash Eshghi, Arash Ashrafzadeh

TL;DR在这篇论文中，我们使用先前学习的动态句法语法和 CHILDES 语料库开发、训练和评估了一个概率模型，该模型用于增量生成，其中模型的输入是纯语义生成目标概念（TTR）。我们证明了该模型的输出与黄金候选项的准确匹配率为 78％，ROUGE-l 评分为 0.86。我们进一步对同一模型在生成目标在发话过程中发生变化时产生自我修复的能力进行了零次评估。自动评估显示模型能够在 85％的情况下正确生成自我修复。小规模的人工评估确认了生成的自我修复的自然性和语法性。总体而言，这些结果进一步突显了基于语法的模型的泛化能力，并为更可控和自然交互的对话型人工智能系统奠定了基础。

Abstract

In conversation, speakers produce language incrementally, word by word, while continuously monitoring the appropriateness of their own contribution in the dynamically unfolding context of the conversation; and this often leads them to repair their own utterance on the fly. This real-time language processing capacity is furthermore crucial to the development

incremental generation dynamic syntax grammar probabilistic model self-repairs conversational ai systems

发现论文，激发创造

由极少数据启动增量对话系统：对话语法的泛化能力

本研究探讨使用小量未标记数据自动诱导任务型对话系统的端到端方法，利用动态句法和类型理论与记录相结合的增量语义语法和强化学习，其产生的系统是增量的，可以处理 74％的 Facebook AI bAbI 数据集，和 65％的 bAbI + 语料库，并比较了当前最先进的检索模型 MemN2N，揭示出其对 bAbI + 的转换的性能非常差。

Sep, 2017

基于循环神经网络与卷积句子重排的对话随机语言生成

本文提出基于联合循环卷积神经网络结构的统计语言生成器，可以在不需要语义对齐或预定义语法树的情况下，训练对话行为 - 话语对。客观指标表明，在相同的实验条件下，这种新模型优于以前的方法。人类评委的评估结果表明，它产生的不仅是高质量而且是语言上多变的话语，而且与 n-gram 和基于规则的系统相比受到更多的青睐。

Aug, 2015

大规模会话型 AI 代理的基于反馈的自学习

本研究提出了一种自学习系统，使用用户 - 系统交互反馈信号自动纠正对话式人工智能系统中出现的各种组件错误，并通过吸收马尔可夫链模型挖掘这些反馈信号中的共同模式，进行可扩展的改进，实现了大规模对话式人工智能系统的自主学习，能显著降低过多次错误和缺陷。

Nov, 2019

通过学习自我纠正生成序列

本文介绍了一种称为 Self-Correction 的方法，该方法可以用于解决序列生成应用中存在的语义约束问题，该方法通过将完美的基本生成器与学习逐步纠正其输出的单独的纠正器分离来实现。我们证明，即使纠正器比基本生成器小得多，在数学程序合成、词汇约束生成和毒性控制等三个不同的生成任务上，Self-Correction 仍然优于基本生成器。

Oct, 2022

高效机器通信的持续自适应

本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

Nov, 2019

通过分解学习自适应语言界面

该研究旨在创建一个交互式、自然语言接口，通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统，通过分解学习新的高层抽象：用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距，并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。

Oct, 2020

神经语言模型和人类语言处理中增量处理的定向评估

通过在线实验，比较人类和神经语言模型在语法处理中的情况；发现当神经语言模型遇到语法问题时，会在显著性方面低估人类反应时间的不同，这对于现代语言模型是否接近人类对语法违规的敏感性提出了质疑。

Jun, 2021

非自回归神经机器翻译

本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

Nov, 2017

再次聆听并选择正确答案：大语言模型下自动语音识别的新范式

该论文提出了一种新的 ASR 生成性错误纠正范式 ClozeGER，通过引入一种多模态 LLM（即 SpeechGPT）来改善纠正输出的忠实度，然后将 GER 重新设计为带有 logits 校准的 cloze 测试，以消除输入信息冗余并简化 GER 过程。实验证明，ClozeGER 在 9 个流行的 ASR 数据集上取得了新的突破。

May, 2024

神经文本生成的显式句法指导

我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

Jun, 2023