May, 2024

波斯同音词消歧：利用 ParsBERT 提升句子理解力的新词义消歧数据集

PDF
TL;DR我们引入了一个新的波斯同音异形词消歧数据集，对各种嵌入进行了全面探索，并通过余弦相似度和分类等下游任务来评估其有效性。我们训练了多种机器学习和深度学习模型进行同音异形词消歧，并在准确度、召回率和 F1 分数等方面对模型的性能进行了细致分析，从而深入了解它们的优势和限制。
发现论文，激发创造
  • 预训练上下文语言模型对希伯来同形字分析的区分能力

    研究表明，最新的希伯来语情境嵌入模型在消除希伯来语同形异义词和分析词素、句法特征方面效果显著，尤其在限制分词数、2 种和 3 种歧义的情况下，对于平衡和不平衡分布的同形异义词同样有效，无论是有监督训练还是几次训练。

    May, 2024

  • 学习同形异义词辨析表示用于神经机器翻译

    本文提出一种新的方法来解决神经机器翻译中同形异义词的问题，该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调，从而实现单词级别的同形异义词消歧表示（HDR），最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。

    Apr, 2023

  • 通过选择性字音符复原进行多义字消歧

    本文提出了一种自动标记一部分词汇以进行音标恢复的方法，从而实现有选择性的同形词消除，并将其在神经机器翻译、词性标注和语义文本相似度等下游应用中进行了评估。

    Dec, 2019

  • 神经机器翻译中的同形异义词处理

    该研究利用词义消歧方法，在词输入编码器之前使用上下文感知的词嵌入来区分单词的多义性，解决神经机器翻译（NMT）系统在翻译歧义单词时存在的问题，实验表明该方法提高了 NMT 系统的翻译准确率。

    Aug, 2017

  • 格鲁吉亚语中的同音词义消歧

    该研究提出了一种新的方法来解决乔治亚语中的词义消歧（WSD）任务，该方法基于对预训练的大型语言模型（LLM）在通过过滤乔治亚通用爬取语料库形成的数据集上进行有监督的微调。该研究的目标是强调有关乔治亚语中同音异义词消歧的特定问题，并介绍我们的解决方法。

    Apr, 2024

  • 同音词消歧揭示言语变换中上下文混合的模式

    通过研究如何将文本模型的 ' 上下文混合 ' 适用于口语语言模型，揭示了 Transformer 模型如何通过关注句法线索来解决同音词消歧问题，并发现编码器与解码器模块在捕捉上下文依赖性任务中的不同表现。

    Oct, 2023

  • 语境化语言模型中的词汇歧义模式

    本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

    Sep, 2021

  • 词形变化词典中的未监督歧义消解

    本文提出了使用基于神经网络的无监督学习方法来处理语料库中的词汇歧义问题，该方法在不考虑上下文的情况下，使用概率模型来推断单词形态上下文的各种分析，最终通过评估指标在五种语言上取得了一定效果。

    Jun, 2018

  • PESTS: 波斯语 - 英语跨语言语义文本相似性语料库

    本文为首次使用语言专家生成了一个波斯语和英语句子之间语义文本相似性语料库 (PESTS)，并使用此数据集微调不同的基于 transformers 的模型，并且结果表明，使用 PESTS 数据集，XLM ROBERTa 模型的 Pearson 相关性从 85.87％提高至 95.62％。

    May, 2023

  • 评估用于分析波斯广告数据的 BERT 和 ParsBERT

    这篇论文探讨了互联网对现代交易的影响，以及从这些交易产生的数据对组织改善其市场营销努力的重要性。本文以伊朗的在线购买和销售产品和服务的市场 Divar 为例，并介绍了一个竞赛来预测在 Divar 网站上发布的汽车销售广告的百分比。作者在伊朗的低资源语言的背景下，使用了两种先进的语言模型，mBERT 和 ParsBERT，对这些数据进行了分析，提供了两种方法的性能比较，还详细介绍数据挖掘过程和机器学习问题类型和模式评估技术。

    May, 2023