- 感谢 BART！奖励预训练模型改善正式风格转换
此篇研究发现在有限的平行数据下，fine-tuning 预训练的 GPT-2 和 BART 语言模型可提高对形式的样式转换模型中内容保留的成功率，并加以奖励促进模型对形式和内容两个核心方面的提高，从而实现了新的最高水平。
- 组合式任务导向对话的非自回归语义分析
本研究提出了一种基于非自回归模型和卷积神经网络的有效序列到序列模型，以预测语义分析树，实现了较传统循环神经网络模型更高的时延优化和参数规模缩减，并在三个不同的语义分析数据集上表现出竞争性能力。
- ACL稀疏 Seq2Seq 搜索空间的平滑和缩小
本研究发现基于 entmax 的模型具有很好的解决翻译中的 “cat got your tongue” 问题的能力，同时该模型也可以处理诸如跨语言形态学和机器翻译等任务，并且引入了一种更广泛的正则化技术 Fenchel-Young loss - AAAIVisualMRC：基于文档图片的机器阅读理解
本研究提出了一个名为 VisualMRC 的新的视觉机器阅读理解数据集，包含来自多个网络域的 10,000 多个文档图像，以及 30,000 多个问题和答案对，以帮助发展自然语言理解和生成能力。此外，研究还引入了一个扩展了现有序列到序列模型 - ICLR了解和改善序列到序列学习中编码器层融合
本研究提出了一种新的 EncoderFusion 方法，即 SurfaceFusion，它将编码器嵌入层与 Softmax 层融合，实验证明其在多种 NLP 任务中表现出色，特别是在 WMT16 Romanian-English 和 WMT - ICLR利用对抗扰动的对比学习实现条件文本生成
该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。
- ACL组合泛化和自然语言变化：语义解析方法可以同时处理吗？
探讨如何开发一种语义解析方法，既可应对自然语言变异，又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割，证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5，这是一个混合模型，结合了高精度的基于语法的方 - 交叉拷贝网络用于对话生成
本研究提出了一种名为交叉复制网络 (CCN) 的新型网络架构，可以同时探索当前对话上下文和类似对话实例的逻辑结构，证明了该算法在法庭辩论和客户服务内容生成等任务方面优于现有的最先进的内容生成模型。
- 明确的复述控制文本简化
提出了一种新型的混合方法，它结合了基于语言学的分裂和删除规则以及神经语言转换模型来进行不同的简化操作，并通过引入新的数据增强方法来提高模型的语言转换能力。通过自动和手动评估，证明该模型在对比现有系统时，产生了更多的语言转换，并且可以控制所应 - 使用适配器将 BERT 整合到并行序列解码中
本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。
- MM序列到序列模型用于工作量干扰
本文提出了一种基于长短时记忆神经网络的序列到序列模型的方法，用于预测共同执行作业的足迹对资源的使用情况和执行时间的变化，并在高性能计算基准测试中进行了验证，表明该模型能够正确地识别以前看到和未看到的共同调度作业的资源使用趋势。
- DynE: 多文档摘要的动态集合解码
本文介绍了一种基于集成学习的解码方法，该方法可以将不同的输入映射到单个输出序列，在多文档摘要生成等任务上取得了最先进的结果。
- COLING在线与离线 NMT 质量：对英德和德英的深度分析
本研究通过人类评估英德和德英语言对的在线和离线神经机器翻译模型，考察了在线解码限制对翻译质量的影响并揭示了每个模型的优缺点。
- 关于在序列到序列模型中稀疏编码器输出的研究
利用 L0DROP 层来实现精简 Transformer 中 Encoder 输出的机制，可以在不降低结果质量的情况下减少 40-70% 的输出，提高编码速度。
- ACL序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？
研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。
- 使用 Transformer 模型进行流式自动语音识别
通过使用自我注意力来模拟时间上下文信息，基于编码器 - 解码器的序列到序列模型已经在端到端自动语音识别领域取得了最先进的成果。本研究提出了一种基于 Transformer 的流式 ASR 系统，其可以在每个发音单词之后快速生成输出，因此可以 - 候选融合：将语言模型集成到序列到序列手写词识别结构中
本文提出了一种新颖的候选融合方式 (Candidate Fusion)，该方法在将外部语言模型集成到序列到序列架构中的同时，提供了来自外部语言模型的建议作为序列到序列识别器的新输入。Candidate Fusion 提供了两个改进，一方面， - 符号数学的深度学习
本文展示神经网络在数学方面的应用，如符号积分和求解微分方程。提出了一套数学问题表示法和生成大规模数据集进行序列到序列模型训练的方法，并获得了超越 Matlab 或 Mathematica 等商业计算机代数系统的结果。
- 使用即时数据增强技术改进序列到序列语音识别训练
本文研究了三种数据增强方法在两种序列到序列模型中对性能的影响，发现通过数据增强可以有效缓解过拟合问题并提高自动语音识别的性能。
- ICLR自适应深度变压器
本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时