使用设计成类似于机器翻译等实际转换问题的合成语法，我们探索了深度循环神经网络的表达能力并提出了新的基于记忆的循环网络，实现了传统数据结构（如堆栈、队列和双端队列）的连续可微分模拟。我们证明，这些架构表现出卓越的泛化性能（generalisation performance）并且通常能够学习到生成算法。

Jun, 2015

通过模仿学习，使用神经过渡型字符串转换器来进行形态学任务，如词形生成和词形归一化。采用简单的专家策略来消除对字符对齐器或热启动的需求，并在多个基准测试中实现了强大和最先进的性能。

Aug, 2018

本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。

Nov, 2012

通过广义文法规则的概念来建立能够在组合中进行泛化的模型的通用框架，这是一种从现代神经网络中区别出人类词汇学习的主要特性之一。

Feb, 2024

该论文提出了一种基于同步树替换语法的树到树转导方法，可以自然地捕捉结构不匹配。论文还介绍了在此框架中解码的算法，并展示了如何在大间隔框架内进行有区别性的训练，实验结果表明，该模型在句子压缩方面取得了显著的改进。

Jan, 2014

本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

Nov, 2022

本文从威胁分析视角出发，对基于转导学习的防御机制进行了系统评估，并提出了攻击模型空间的原则，通过这一原则设计的攻击框架 Greedy Model Space Attack 可以作为评估转导学习防御机制的新基准。同时，本文发现在考虑的攻击方式下，重新训练模型可以显著提高对抗攻击的鲁棒性。

Oct, 2021

本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型，研究其在学习四种字符串转换任务（相同、反向、完全重复和指定输入重复）方面的能力，发现虽然关注度有助于学习，但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构，而不是字符串转移的层次结构。

Mar, 2023

通过与有限转导器的关系，我们研究了变压器的序列到序列映射能力，并发现它们能够表达出令人惊讶的大类转导。我们使用 RASP 的变体作为中间表示形式，该编程语言旨在帮助人们 “像变压器一样思考”。我们将现有的布尔变体 B-RASP 扩展到序列到序列函数，并且表明它计算了一阶有理函数（如字符串旋转）。随后，我们引入两个新的扩展。B-RASP [pos] 允许在位置上进行计算（如复制字符串的前一半），并且包含所有一阶正则函数。S-RASP 添加了前缀和，它使得额外的算术运算成为可能（如字符串的平方），并且包含了所有一阶多正则函数。最后，我们展示了掩码平均硬注意力变压器可以模拟 S-RASP。我们结果的一个推论是变压器解码器是图灵完备的的新证明。

Apr, 2024

Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。

Mar, 2022