本文探讨了神经图灵机在处理括号匹配等长时依赖数据时的表现，结果显示其不仅能够模拟栈并学习识别该种算法，而且能够具有强大的泛化能力。

Dec, 2016

提出了一种名为神经格栅语言模型的新的语言建模方法，该方法在多个层次上具有信息预测和调节的能力，并通过对可能路径的格栅进行边际化以计算序列概率或优化参数。实验证明，使用多义词嵌入的英语神经格栅语言模型能够将困惑度相对于单词层面基线提高9.95％，而处理多字符标记的中文模型能够将困惑度相对于字符层面基线提高20.94％。

Mar, 2018

本文提出一种新颖的神经方法来自动解密失落的语言，该模型利用历史语言学中记录的语言变化模式来补偿强监督信号的缺失。通过将训练过程形式化为最小成本流问题，我们训练模型以非监督的方式工作，该方案在解读乌加里特语方面取得了5.5％的绝对改进，在解密与古希腊相关的音节语言线性b方面，我们的模型能够正确翻译67.3％的同源词。

Jun, 2019

本文提出了使用Transformer网络将数学问题转化为等价的前缀、中缀和后缀表达式，并使用预训练的通用文本语料库进行训练以提高性能，与以往最先进的方法相比，最好的神经网络方法可将准确率平均提高近10%。

Dec, 2019

我们提出了一种多语言模型，用于解密简单替换密码，通过测试合成和真实历史密文，证明该方法可以在不需要明确语言识别时解密文本，同时还能抵抗噪声。

Dec, 2020

本文提出了一种使用字节对编码(BPE)和单元语言模型来自动分段非分段(无空格)密码的方法，对100个随机生成的单字母替代密码平均分段错误率为2％，对3个现实中的同音替代密码平均分段错误率为27％，并提出了一种通过创建一个晶格和使用先前经过训练的语言模型来解决已知替代密钥的非确定性密码的方法，成功解密了一个历史密码IA，这是一个之前一直未被完全解开的密码。

May, 2022

本文探讨了人类自然语言结构如何成为相互之间交流编码演化的产物，以最大化文化不可知和跨语言度量，如反熵，压缩因子和交叉分割F1得分，并在超参数空间中执行元学习，通过最大化上述度量，实现自然语言学习。文中介绍了针对俄语，英语和汉语的跨语言单词级分割分词研究，以及对英语的子词分割或形态分析研究的初步结果。研究发现，从分词到分词中可以发现，这些度量驱动着语言结构，反熵更相关于英语和俄语，而压缩因子更适用于中国。对于英语词汇表的子词分割或形态分析的研究揭示了压缩和压缩因子之间存在直接联系，而惊讶的是，与反熵的相同联系却变成了相反。

Jun, 2023

该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码-回归-解码机器。

Aug, 2023

本文介绍了一种新型数位分解器，旨在逆转赫福德的打包策略，该分解器通过递归将小数位单词组合形成数字单词。通过检查算术条件来解包子数字，该算法在254种不同自然语言的数字系统上测试成功，并基于该算法开发了一种基于强化学习的算法，源代码和结果均开源于GitHub。

Dec, 2023

大型语言模型容易受到称为Jailbreak的创新提示的影响，本文提出使用加密技术对越狱提示进行编码，实验结果表明我们提出的越狱方法在ChatGPT、GPT-4和Gemini-Pro等先进专有模型上的攻击成功率高达59.42％，此外，我们还讨论了这些模型的过度防御性。

Feb, 2024