Apple 双向 LSTM 模型在短字符串语言识别中的复现

ACLFeb, 2021

A reproduction of Apple's bi-directional LSTM models for language identification in short strings

Mads Toftrup, Søren Asger Sørensen, Manuel R. Ciosici, Ira Assent

TL;DR本研究实现了 Apple 公司在博客中简短介绍的语言识别架构，发现 bi-LSTM 模型在识别语言方面的表现更优，但在相关语言之间容易混淆。该技术可用于自动拼写检查和对短文本信息进行语种识别。

Abstract

language identification is the task of identifying a document's language. For applications like automatic spell checker selection, language ident

发现论文，激发创造

该研究提出了一种基于双向循环神经网络的文本语言识别方法，能够准确识别文本中涉及的多个语种，并能在不同场景下保持高精度，适用于即开即用的场景。该方法在覆盖 131 种语言的六个数据集上表现稳定并达到了较好的效果。

Jan, 2017

利用微博和深度学习技术，研发了一种可靠的语言识别引擎，在 Discriminating between Similar Languages (DSL) Shared Task 2015 数据集上达到了 95.12% 的准确率。

Jan, 2017

本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

Apr, 2016

我们提出了一种基于 BERT 的语言识别系统，通过提取从前端语音识别器导出的语音学后向图（PPG）作为输入，可以提高较短语音段的语言识别表现，该模型可以提高长语音段识别的基准准确率约 6.5％，提高短语音段识别的基准准确率约 19.9％，表明 BERT-LID 在语言识别方面是有效的。

Mar, 2022

该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

May, 2023

本文提出一种基于深度长短期记忆 (LSTM) 模型的有监督学习方法，针对社交媒体上的低资源孟加拉语 - 英语混合数据的单词级别语言识别问题，采用字符编码和词根编码两种方法训练模型，并使用堆叠和阈值技术创建两个集成模型，在测试数据上分别获得了 91.78% 和 92.35% 的准确率。

Mar, 2018

文章介绍了语言识别的概念及其历史，对现有的特征和方法进行了调查和评估，讨论了评估方法、应用和开放问题，并提出了未来的研究方向。

Apr, 2018

本研究通过实现多通道神经网络结合 CNN 和 LSTM 的方法和 Bi-LSTM-CRF 上下文捕捉模块，成功实现了对混合代码数据的单词级别的语言识别，准确率高达 93.28％和 93.32％。

Aug, 2018

通过编制一个 50k+ 多语种儿童故事对齐语料库和构建轻量级的逐层模型，我们提出了一种名为 Hierarchical LIMIT 的方法来解决低资源语言的数据瓶颈问题，可用于短文本的语言识别和印度或非洲语言之间的研究。

May, 2023

本文提出了一种利用双向 LSTM 神经网络进行自修复检测的方法，并使用模式匹配特征来降低对于词汇量的敏感度，提高了模型的性能。实验结果表明，在 Switchboard 语料库中，模型在标准的自修复检测任务和纠正检测任务中均表现出了出色的性能，特别是将非重复性的自修复鉴别效果提升明显。

Apr, 2016