神经噪声信道

ICLRNov, 2016

The Neural Noisy Channel

Lei Yu, Phil Blunsom, Chris Dyer, Edward Grefenstette, Tomas Kocisky

TL;DR本文利用循环神经网络来参数化源模型和信道模型，将序列到序列的转移问题表述为噪声信道译码问题。实验结果表明，相较于直接模型，噪声信道模型在抽象句子摘要、形态学拐点和机器翻译方面表现更佳，并且可以从未配对的输出数据中获得显著的收益。

Abstract

We formulate sequence to sequence transduction as a noisy channel decoding problem and use recurrent neural networks to parameterise the source and channel models. Unlike direct models which can suffer from expla

noisy channel decoding recurrent neural networks latent variable beam search decoder unpaired output data

发现论文，激发创造

神经机器翻译的简单而有效的噪声信道建模

本文探讨了基于标准序列到序列模型的神经嘈杂信道建模方法，实验结果表明这种方法在四个语言对的翻译任务中表现优异，尤其在 WMT'17 的德英翻译任务中，其 BLEU 分数比直接模型高出 3.2 分。

Aug, 2019

神经联合信源信道编码

本文提出了一种用于编解码的离散自编码器模型，通过添加噪声来模拟信道以实现数据压缩和容错，得到了与现有方案相当的编码标准，并学习了下游任务（如分类）的有用鲁棒表征。最后，通过推理摊销，实现了一个快速的神经解码器，与迭代置信传播方法相比，速度提高了近一个数量级。

Nov, 2018

针对任务导向对话的噪声通道模型预训练

使用 Bayes' 定理将任务型对话分解为两个模型，上下文给定回复的分布和回复本身的先验，采用嘈杂信道模型的方法既弱化了解释效应，又允许合理地将大型预先训练的模型纳入回复先验中。大量实验证明，相比于直接解码，嘈杂信道模型具有更好的解码性能，并且采用两阶段预训练策略（同时使用开放领域和任务导向对话数据）可以优于随机初始化的模型。

Mar, 2021

基于无噪声通道语言模型的少样本文本分类

介绍了一种嘈杂通道方法来进行少样本文本分类中的语言模型提示。实验表明，使用嘈杂通道模型可显著优于直接模型，特别适用于训练样本小，训练数据标签不平衡或需要推广到未见标签的情况。

Aug, 2021

基于噪声并行的条件循环语言模型近似解码

本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

May, 2016

无模型训练端到端通信系统

本文提出了一种使用神经网络自编码器进行端到端学习的通信系统的新的学习算法，该算法可以训练具有未知信道模型或具有不可微分组件的通信系统，并在软件定义无线电上实现，并在同轴电缆和无线信道上实现了最先进的性能。

Dec, 2018

自动文本简化的噪声通道

本文介绍了一种基于嘈杂信道模型的自动句子简化的简单重新排名方法，该方法综合考虑了简单句子产生复杂语句的概率以及该简单文本本身的概率，并在三个不同的英语数据集中表现出优越性能，应用嘈杂信道模型可以为 ATS 系统添加附加信息，在控制其重要方面方面具有重要作用，缓解了端到端神经 seq2seq 生成模型的局限性。

Nov, 2022

使用很少或没有配对数据学习两个序列的联合分布

提出了一个基于噪声通道生成模型的文本和语音序列的联合建模方法，包括变分推断、KL 编码器损失和条件独立性假设，实验结果表明仅仅使用少量成对数据即可学习两种模态间的相关性，并可以为低数据资源环境下的其他序列到序列模型提供一种有力的解决方案。

Dec, 2022

无信道模型的通信系统端到端学习

本文提出了一种新颖的学习算法，通过监督接收器的训练和基于强化学习的发射器训练之间的迭代来解决没有可微通道模型的端到端通信系统学习问题，并在加性白噪声和瑞利衰落信道上证明了该方法的有效性。

Apr, 2018

文本联合源通信深度学习

本文考虑了在噪声信道上传输结构化数据（例如自然语言）的联合源编码和信道编码问题，提出了基于深度学习编码器和解码器以及将句子嵌入语义空间后进行联合编码的方法，旨在同时最小化端到端失真和字错误率。

Feb, 2018