神经语言模型的生成式知识转移

Aug, 2016

Generative Knowledge Transfer for Neural Language Models

Sungho Shin, Kyuyeon Hwang, Wonyong Sung

TL;DR本文提出了一种生成式知识迁移的技术，使用以前训练的基于 RNN 的语言模型 (RNN 学生网络) 生成的文本和输出概率来训练一个新的语言模型。我们还可以通过使用多个教师网络的软标签组合来提高性能，从而适用于隐私意识的语言模型自适应，因为不会直接使用用户数据进行训练。特别是，当多个设备的软标签通过可信的第三方进行聚合时，我们可以期望非常强的隐私保护。

Abstract

In this paper, we propose a generative knowledge transfer technique that trains an RNN based language model (student network) using text and output probabilities generated from a previously trained RNN (teacher network). The →

generative knowledge transfer rnn language model ensemble learning privacy text generation

发现论文，激发创造

使用暗知识传递的循环神经网络训练

使用深度神经网络作为教师模型，通过知识迁移学习的方法，成功地训练了长短时记忆神经网络，以在自动语音识别任务中表现良好。

May, 2015

采用循环神经网络的个性化语言建模的高效迁移学习方案

该研究提出了一种有效的迁移学习方法，使用具有长短期记忆体系结构的循环神经网络对个性化语言模型进行训练。通过实验证明，我们的迁移学习方法成功生成了个性化语言模型，并在定量和定性方面表现出更接近个人语言风格的输出，尤其适用于移动设备环境以保护数据隐私。

Jan, 2017

面向约束句子生成的前向和后向语言建模

本研究提出了一种新的前向后向语言模型，能够在特定词的约束下生成自然语言文本，表现优于传统的顺序语言模型。

Dec, 2015

深度知识追踪

本文研究使用递归神经网络（RNN）对学生学习过程中的知识建模，结果显示神经网络能够提高预测性能，可用于智能课程设计和发现学生任务结构的解释与发现。

Jun, 2015

从语言模型向序列到序列语音识别中迁移拼写知识：向教师学拼写

本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

Jul, 2019

生成对抗训练可以提高神经语言模型的表现

本文提出了一种基于生成对抗网络和对抗性训练的正则化方法，可以在神经语言模型中防止过拟合，与常见的对抗性训练方法相比，本方法不需要经过时间的二次反向传播，并且其开销不超过基准方法的 20%。

Nov, 2022

循环神经网络语言建模的知识蒸馏与信任正则化

本文通过应用知识蒸馏和信任正则化方法来减小模型大小，从而降低了循环神经网络（RNN）语言模型的计算成本，并保持了该模型在 Penn Treebank 数据集上的最先进困惑度结果，同时在声音识别任务中没有降低单词错误率（WER）。

Apr, 2019

从 RNN 到 DNN 的知识转移

本文研究嵌入式系统中小型深度神经网络的训练方法，提出了一种使用递归神经网络进行知识转移的方法，并通过 Kullback-Leibler 散度最小化来训练小型深度神经网络，结果显示相较于基线结果提高了 13% 的识别准确率。

Apr, 2015

学习使用协同判别器进行写作

通过学习多个判别模型的混合，帮助生成自然语言的循环神经网络更好地表达与 Grice 最大化原则这样的语言规律相关的交际目标，从而提高生成文本的连贯性、风格和信息质量。

May, 2018

多领域神经网络语言生成器用于口语对话系统

本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。

Mar, 2016