Jan, 2024

音译内容的语言检测

PDF
TL;DR在当代数字时代中，互联网作为一个无与伦比的催化剂，打破了地理和语言壁垒，尤其在短信交流中表现得格外明显。本研究通过使用 BERT 进行语言分类和 Google Translate API 进行转写转换，从 Hindi 和 Russian 语言的手机短信数据集中解决了对转写文本的语言识别挑战，突破数字通信的多样化语言环境。通过广泛的转写动态探索、创新方法和 BERT 等前沿技术，我们的研究处于解决数字通信语言环境中独特挑战的前沿位置。此工作除了在语言识别和转写能力方面有所贡献外，还为内容审核、分析和促进全球互联的有意义对话社区提供了希望。
发现论文，激发创造
  • MATra：一种印度文字跨语言注意力音译系统

    本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top-1 精度得分方面高达 80.7％，比最好的结果提高了 29.5％，并在语音准确性方面达到了 93.5％。

    Aug, 2022

  • 利用语言识别提升混合编码文本分类

    本研究旨在通过实验语言增强方法来提高基于 BERT 的模型在低资源 Code-Mixed Hindi-English 数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和 F1 分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

    Jun, 2023

  • 识别转写和混合编码的孟加拉语冒犯性语言

    在这篇研究中，我们探讨了社交媒体上的冒犯性内容识别问题，特别关注多语社会中常见的音译和混合语言现象对自然语言处理系统的挑战。我们引入了一份包含 5000 条手动注释评论的音译孟加拉冒犯性语言数据集（TB-OLID），并在该数据集上对机器学习模型进行训练、微调和评估。结果显示，fBERT 和 HateBERT 等基于英语预训练的 Transformer 模型在该数据集上表现最佳。

    Nov, 2023

  • 音译是否有助于多语言语言建模？

    本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。

    Jan, 2022

  • 探究多语种机器翻译中的词汇共享在印度语言中的应用

    本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。

    May, 2023

  • 可访问的多语言文本分析的机器翻译

    本文研究通过机器翻译将其他语言翻译成英文进行多语言文本分析，结果表明这种方法在情感分析，主题分析和词嵌入等分析方法上，与使用源语言进行分析的结果相当，机器翻译可以帮助计算机学者做出关于人类沟通的更具包容性和普适性的结论。

    Jan, 2023

  • 机器音译

    本文介绍了一种通过机器学习模型来进行语言转写的方法，并对其进行了评估。

    Apr, 1997

  • 听写翻译：端到端语音转文本翻译的概念验证

    本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

    Dec, 2016

  • 命名实体音译中的设计挑战

    本文探讨了多语种最新命名实体转写系统的一些基本设计挑战，并使用传统的加权有限状态转换器方法对两种神经方法进行实证评估：编码器 - 解码器循环神经网络方法和最近的非顺序 Transformer 方法。为了提高双语命名实体转写数据集的可用性，我们在英语到俄语、希伯来语、阿拉伯语和日语片假名方面发布了从维基数据中构建的个人命名双语词典。我们的代码和词典已经公开发布。

    Aug, 2018

  • 基于字符和语音的 LSTM 模型的孟加拉 - 英文混合代码文本语言识别

    本文提出一种基于深度长短期记忆 (LSTM) 模型的有监督学习方法，针对社交媒体上的低资源孟加拉语 - 英语混合数据的单词级别语言识别问题，采用字符编码和词根编码两种方法训练模型，并使用堆叠和阈值技术创建两个集成模型，在测试数据上分别获得了 91.78% 和 92.35% 的准确率。

    Mar, 2018