神经模型词序比较

Aug, 2017

A Comparison of Neural Models for Word Ordering

Eva Hasler, Felix Stahlberg, Marcus Tomalin, Adri`a de Gispert, Bill Byrne

TL;DR本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量方面都优于之前的研究成果。

Abstract

We compare several language models for the word-ordering task and propose a new bag-to-sequence neural model based on attention-based sequence-to-sequence models. We evaluate the model on a large German WMT data set where it significantly outperforms existing models. We also describe a

language models neural models attention-based models word ordering lm-based search strategy

发现论文，激发创造

大规模神经词嵌入中的顺序建模

提出了一种新的神经语言模型，它不仅包含单词顺序，还包括字符顺序，并利用 skip-gram 网络实现了高效的并行训练，从而在语义和句法类比任务中取得了 85.8％的高分。

Jun, 2015

预训练语言模型在词序中的作用：以 BART 为例的案例研究

使用 BART 语言生成模型进行词序排序能够提高性能，其作用原因是 BART 模型中的句法依赖知识。相关线性化任务也可得到改进。

Apr, 2022

无需语法的词序排列

研究表明，使用 n-gram 语言模型和 LSTM 语言模型可以更有效地恢复句子的顺序，比一些最先进的句法模型表现更好。

Apr, 2016

乱序排列：语句中单词顺序对自然语言理解任务的重要性如何？

此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。

Dec, 2020

语言模型中生成顺序的重要性

这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。

Aug, 2018

语言模型作为词序假说的备选评估器：以日语为例的案例研究

本文介绍了一种使用神经语言模型 (LMs) 分析语言词序的方法，以日本语作为案例研究，通过实验，初步得出神经语言模型具有足够的词序知识用于分析工具，并利用该方法，显示了规范词序与主题化之间的关系。

May, 2020

使用循环神经网络对句子顺序和连贯性建模

通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

Nov, 2016

神经句子排序

本文提出了一种数据驱动的方法，学习句子的逐对排序，以改进自然语言生成应用程序中句子排序的性能。该方法在大规模学术文本语料库上进行验证通过，并公开源代码和数据集。

Jul, 2016

机器翻译生成顺序的实证研究

本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。

Oct, 2019

广义最优线性排序

本文探讨了语言处理中的单词顺序问题，并提出了基于语言学、心理语言学、计算语言学和自然语言处理的理论模型。进一步，为了优化处理单词最小化相关性，提出一种新的单词顺序，重点关注远距离依赖的人类和计算语言处理困难。最后探讨这些单词顺序对于人类语言和计算模型的影响。

Aug, 2021