ACLJan, 2024

使用神经编辑距离模型将正字文言文词汇配对为标准等价词

PDF
TL;DR我们提供了一个新颖的语料库，其中包含 19 世纪美国文学作品中的正字异构词，并且用其对应的‘标准’词对进行了注释。我们训练了一组神经编辑距离模型来将这些变体与它们的标准形式进行配对，并将这些模型的性能与训练于 L2 英语学习者拼写错误文本的神经编辑距离模型进行了比较。最后，我们分析了这些模型在不同负样本生成策略下的相对性能，并对文学正字异构变化对字符串配对方法学的独特挑战提出了总结性的观点。
发现论文，激发创造
  • 模型化正字变化提升尼日利亚商业英语的 NLP 性能

    试验展示了将来自其他语料库的真实文本与合成的正字法变异相结合以增强训练数据的益处，在情感分析方面效果提升了 2.1 分，英文翻译方面效果提升了 1.4 BLEU 分。

    Apr, 2024

  • 基于正字和语义相似性的词形相关词的无监督发现

    本研究提出了一种算法，其以未注释的语料库作为输入，并以概率排名的形式返回相关形态的排列列表作为输出。该算法尝试通过寻找在正字上和语义上相似的成对词来发现相关形态的成对词。本过程不依赖于形态素连接模型，也不依赖于单词子串的分布特性。对德语和英语输入进行的实验结果令人鼓舞，从排名列表的各个截止点找到良好成对的比例精度，并对算法发现的形态模式类型进行了定性分析。

    May, 2002

  • 跨文字系統的無監督雙語詞彙彙編

    本文研究了使用无监督双语词汇识别中基于嵌入的最新方法，提出了一种使用拼写信息的强化方法，并提出了一种可以学习和利用具有不同语言间的正字对应关系的方法。实验结果表明该方法在使用不同文字和不同词汇相似度的三种语言对上表现出了很好的效果。

    Jan, 2020

  • 神经字符串编辑距离

    本文提出神经字符串编辑距离模型用于字符串对匹配与转录，并在同一框架中平衡精度与可解释性，通过对认知相似性，音译以及字音转换等任务进行评估达到了最先进匹配模型的表现。

    Apr, 2021

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • 奥克西唐语方言的正字法变异建模

    通过对多种奥克西唐方言的数据进行微调，我们在本研究中成功地对一种多语种模型进行了评估，结果显示该模型能够较好地表示这些方言。我们还通过编制一个包含四种奥克西唐方言的平行词汇表进行评估，结果显示模型根据方言之间的表层相似性加强了表示。当进一步对模型进行词性标注和通用依存分析微调时，其性能对方言变异是稳定的，即使仅使用单个方言的词性数据进行训练。我们的发现表明，大型多语种模型可以在预处理过程中最小化拼写规范化的需求。

    Apr, 2024

  • 利用字符串和语音相似性的神经文本标准化

    本研究提出了神经模型，利用单词字符串和音相似性来进行文本规范化。结论表明，将单词字符串的相似性与声音相似性综合考虑，能成功应对缩写、拼写错误和语音替代等问题，并达到了比基础模型更高的 F1 得分。

    Nov, 2020

  • 不包含类比测试的类比研究：衡量词嵌入中的规律性

    本文通过分解和实证分析经典算数词类比测试，提出了两种新的指标，用于解决标准测试存在的问题，并区分广泛类别内二元词汇之间的相似方向和正确匹配词对之间存在常规变换的配对一致性；结果表明，尽管标准的词类比测试存在缺陷，但一些受欢迎的词嵌入方法仍然编码语言规律。

    Oct, 2020

  • 神经机器翻译中的词汇选择改进

    本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

    Oct, 2017

  • 离线双语词向量，正交变换与倒置的 softmax

    本论文证明两个空间之间的线性转换应该是正交的，在此基础上提出了一种新型的反向 softmax 算法来确定翻译对，并使用此方法使得英语单词从 34% 的准确度提升到 43%，在无需专家双语信号的情况下达到 40%。最终，我们将这个方法扩展到从 200k 个意大利语句子语料库中检索英语句子的真实翻译，准确度达到 68%。

    Feb, 2017