基于 Transformer 的语言学知识的梵文分词器 TransLIST

EMNLPOct, 2022

基于 Transformer 的语言学知识的梵文分词器 TransLIST

TransLIST: A Transformer-Based Linguistically Informed Sanskrit Tokenizer

Jivnesh Sandhan, Rathin Singha, Narein Rao, Suvendu Samanta, Laxmidhar Behera...

TL;DR本文提出了基于 Transformer 的新方法（TransLIST）来应对 Sanskrit Word Segmentation 中的挑战，该方法结合了专门针对 SWS 的 sandhi 现象的 latent-word 信息，使用了新颖的软蒙版注意力机制来优先考虑潜在的候选词，并使用了新颖的路径排名算法来修正错误的预测，并且实验证明 TransLIST 在 PM 度量标准上的表现优于当前最先进的系统，平均提高了 7.2 个百分点。

Abstract

sanskrit word segmentation (SWS) is essential in making digitized texts available and in deploying downstream tasks. It is, however, non-trivial because of the sandhi phenomenon that modifies the characters at th

sanskrit word segmentation sandhi phenomenon lexicon-driven approaches deep learning transformer

发现论文，激发创造

一夜建立梵文分词器

提出了一种基于序列到序列模型的 Sanskrit Sandhi 文本分词方法，该模型只使用 Sandhi 化字符串作为输入，并预测正常分词的字符串，经过实验比当前最先进的模型具有更好的表现，且可在一晚上进行训练并应用于生产。

Feb, 2018

基于语言学的梵语词汇、句法和语义任务的神经网络结构

通过自然语言技术，本论文的主要目标是使梵语手稿更便于最终用户使用。梵语的形态丰富、合成、词序自由和资源匮乏性为开发深度学习解决方案带来了重大挑战。论文针对四个基础任务，即词分割、依存分析、合成类型识别和诗歌分析，提出了有关梵语自然语言处理（NLP）技术的关键问题，并在解决这些挑战的过程中提出了多项贡献，包括提出了具有语言学信息的神经网络体系结构、展示了所提系统的可解释性和多语言扩展性、报道了最先进的性能以及开发了名为 SanskritShala 的神经工具套件。

Aug, 2023

一种面向手语翻译的令牌级对比框架

提出 ConSLT，结合对比学习和手语翻译的解码过程，从而学习有效的标记表示，实验结果表明，ConSLT 比强基线表现更好。

Apr, 2022

Transformer 基于的代码混合卡纳达语 - 英语文本字级语言识别模型

本文介绍了 CIC 团队使用 Transformer 模型对 CoLI-Kenglish 数据集进行词级别语言鉴别的系统描述，其中提出了在 NLP 中使用 code-mixed 数据的研究，并探讨了社交媒体的影响。该模型在数据集中取得了 0.84 的加权 F1 分数和 0.61 的宏 F1 分数。

Nov, 2022

Linguistically-Informed Transformations (LIT): 自动生成对比集合的方法

本文提出了一种语言学驱动的转换（LIT）方法，用于自动生成对比集，以探索感兴趣的语言现象以及组成不同现象。在对 SNLI 和 MNLI 进行实验中，使用我们的方法发现当前预训练语言模型虽然被认为包含足够的语言知识，但他们在我们自动生成的对比集上表现不佳。此外，通过将 LIT 应用于扩充训练数据，可以提高模型在对比集上的表现，并且不会影响原始数据的性能。

Oct, 2020

San-BERT: 使用 BERT 及其变体进行梵文文档的摘要提取

研究人员使用 Sanskrit 语文本语料库开发了 Sanskrit 语言模型 BERT、ALBERT 和 RoBERTa，并从中提取特征，应用维度降低和聚类技术生成了给定文本的摘要，并公开了一个 Sanskrit Devanagari 文本语料库。

Apr, 2023

梵文分词和形态分析

在这篇文章中，我们描述了我们参加的梵语单词分割和形态分析比赛，并提出了一个基于序列标注来预测分割操作的单词分割方法和一个基于形态标记预测转换规则来进行形态分析的方法，同时提出了一种用于联合分割和形态分析的端到端可训练的流水线模型，在联合分割和分析子任务中取得了最好的成绩（80.018 F1 score），在单独的子任务中表现第二好（分割：96.189 F1 score / 分析：69.180 F1 score）。最后，我们分析了模型的错误并就数据和评估提出了未来的研究和可能的改进。

Jan, 2022

GPT-SW3 多语言分词器的训练和评估

本文介绍了用于 GPT-SW3 的多语言分词器，采用了 SentencePiece 库和 BPE 算法，在 Nordic Pile 上进行训练，重点介绍了分词器的特点和学习到的词汇表。此外，我们还系统地分析了不同语言在数据中的性质，并评估了分词器的性能。

Apr, 2023

统一流式和非流式传输器中的上下文偏置的两阶段上下文单词过滤

本文提出了一种高效的方法来获取高质量的语境词列表，并将其作为上下文信息融合到非流式编码器和解码器中，以生成最终的识别结果，实验证明与基线系统相比，相对字符错误率降低了 20% 以上。

Jan, 2023

ELITR 在 IWSLT 2020 的非母语语音翻译

本文是针对 IWSLT 2020 年的非母语演讲翻译任务的 ELITR 系统提交。我们描述了离线 ASR、实时 ASR 和离线 SLT 以及实时 SLT 的级联方法。我们从预先存在的系统池中选择我们的主要候选人，开发了一个新的端到端的通用 ASR 系统和一个针对非母语演讲的混合 ASR 系统。由于提供的小验证集不能进行复杂的验证，但我们将所有未被选中的候选人提交进行对比评估。

Jun, 2020