Mar, 2023

神经语言模型中的拼写规则敏感性

PDF
TL;DR研究表明，大型神经语言模型在训练时，能够学习英式和美式拼写约定的长距离依赖关系，但是只有对于观察到的词汇项，而非具有英式 / 美式拼写模式的虚构单词。此外，研究还发现 T5 和 GPT2 模型在纠正训练数据偏差方面存在限制。
neural language modelsspelling consistencybritish vs. american englisht5 language modeltraining data biases
发现论文，激发创造
  • 双向 LSTM 和多任务学习优化历史拼写规范化

    使用深度神经网络技术对历史文献进行自然语言处理，尤其是对字符进行深度双向 LSTM 网络归一化处理。在对早期新高地德文文本的评估中，我们的模型表现优异，且使用多任务学习结合额外的标准化数据可以进一步提高模型的性能。

    Oct, 2016

  • 拼字比赛中的模型：语言模型隐式学习到了单词字符组成

    通过分析预训练语言模型的嵌入层，研究表明该模型对于整词和子词令牌的内部字符构成也有很高的学习能力。虽然该模型没有直接使用字符信息，但它仍然能够拼写正确达到整体词汇量的三分之一，并在所有令牌类型上达到了高平均字符模型重叠度。而且，通过额外的字符信息来丰富子词模型的训练并不能提高其在语言建模上的性能。总体来说，该研究表明语言建模目标会激励模型隐式地学习拼写知识，而显式地教授拼写知识并不能提高其性能。

    Aug, 2021

  • 神经机器翻译模型在历史拼写规范化上的评估

    本文应用不同的 NMT 模型来解决五种语言的历史拼写规范化问题，结果显示 NMT 模型比 SMT 模型在字符错误率方面表现更好，其中 RNN 模型的性能与 GRU/LSTM 类似，Transformer 模型只有在提供更多的训练数据后才有更好的效果，而子词级别的模型在低资源语言中比字符级别的模型表现更好，并提出了一种混合方法进一步提高历史拼写规范化的性能。

    Jun, 2018

  • 基于上下文的独立神经拼写校正

    本文提出了一种利用拼写信息和全局上下文信息共同解决自然语言处理中拼写纠错问题的简单、有效方法，即通过改进预训练语言模型的微调，将拼写纠错看作一个序列标注任务，并在此基础上显著提升之前最先进结果 12.8% 的 F0.5 评分。

    Nov, 2020

  • 评估 LSTMs 学习句法敏感依赖能力

    本研究使用长短期记忆神经网络（LSTM）来探讨其在语言处理中捕捉句法结构的能力，结果表明，在受到显式语法目标的监督时，LSTM 可以捕捉相当数量的语法结构，但是需要更强的架构来进一步减少错误，且语言建模信号不足以捕捉句法敏感的依赖关系，需要更直接的监督。

    Nov, 2016

  • 大型语言模型的语义一致性保障

    通过引入语义一致性的综合度量和提出的问询策略来提高大型语言模型在开放式文本生成和闭卷问题回答方面的性能。

    Aug, 2023

  • 神经机器翻译到语言变体

    通过使用具有共享表示的多语言任务解决英文到特定语言品种的神经机器翻译时可能遇到的问题，并利用标签化和非标签化的平行语料库，以及低资源条件对欧洲巴西葡萄牙语、欧洲 - 加拿大法语、克罗地亚 - 塞尔维亚语以及印度尼西亚 - 马来语这四种语言进行实验。实验结果显示，使用共享表示的多语言方法能够显着提高翻译成相似语言的基线系统的 BLEU 分数。

    Nov, 2018

  • 母语设计偏见：研究英语作为母语对语言模型性能的影响

    该研究通过分析数据集，探讨了大型语言模型在回答非英语母语使用者的问题时是否会产生性能偏差，结果发现与母语使用者相比，非英语母语使用者在与语言模型的互动中会获得更低质量甚至事实错误的回答。

    Jun, 2024

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 预训练语言模型的一致性测量和提升

    研究了预训练语言模型的一致性，发现它们在事实知识方面缺乏一致性，且表现良莠不齐；提出了一种改善模型一致性的方法，并在实验中证明其有效性。

    Feb, 2021