通过对模型、数据进行改动以及嵌入注意力机制，研究表明RNNG模型中显式建模组成部分对于实现最佳性能至关重要；并通过注意力机制发现，头部性在短语表示中起着核心作用，而短语表示与非终结符的依附关系最小化支持了前缀假说。

Nov, 2016

本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

Mar, 2018

本研究将性别信息加入神经机器翻译系统中，旨在提高语言翻译的准确性。实验结果表明，对于某些语言对，加入性别特征显著提高了翻译质量。

Sep, 2019

考虑语言中的文法性别现象，本文研究其对词的表征的影响，并针对这种影响使用“morphological analyzer”对训练词嵌入进行上下文中性操作，以有效消除这种影响，结果显示其具有良好的效果和鲁棒性。

Oct, 2019

该研究利用神经网络方法实现自然语言翻译，挖掘实际数据中存在性别语言模型与相关问题，发布评估基准用于研究性别语言模型的特性和潜在影响。

Apr, 2020

本研究研究了自然语言的名词语法变化，发现形式和语义对名词分类至关重要，尤其是在捷克语和德语中，能够为名词的语法变化提供很大的信息量，并且在不同语言中这种变化的差异性也存在。

May, 2020

研究表明，使用基于Transformer的神经机器翻译模型在翻译一个没有对名词进行性别标注的语言时存在一些固有的性别标注错误。该论文提出了一个评估方案和数据集，以便在不同语言和句法结构的语境下准确评估基于Transformer的NMT模型的性别标注翻译能力。

Apr, 2021

研究发现，语言的语法性别可能会影响词嵌入的性别信息，提出了一种后处理方法来度量、分离和评价语法性别信号，检验发现此方法有效地减少了法语、德语、意大利语的效应量，并认为分离语法性别信号可以提高语义机器学习任务的性能。

Jun, 2022

通过测试法语中的性别协议，该研究发现LSTMs对需要对长距离句法依赖进行跟踪的语言任务具有高准确性，然而，是否LSTMs真正学习了抽象的句法规则和类别依然未知。

Oct, 2022

人们可以从很少的示例中学习一个新词并推断其语法属性。我们从心理语言学中得到启发，进行了一个名词学习实验，以评估LSTM和仅解码器的Transformer模型是否能够在法语中实现类似人类的语法性别抽象化。我们发现两种语言模型可以有效地从一个到两个学习示例中推广获得新的名词性别，并将所学的性别应用于协议上下文，尽管对于男性性别类别有一定偏倚。重要的是，几次性学习更新仅应用于嵌入层，表明模型在词嵌入空间内编码了足够的性别信息。虽然模型的泛化行为表明它们将语法性别表示为一个抽象的类别，类似于人类，但还需要进一步探索其具体实现细节。为了与人类行为进行比较，我们进行了一项类似的单次学习实验，揭示了如同语言模型一样，法语母语人士也表现出男性性别偏倚，而且也不能很好地进行单次学习。

Mar, 2024