ACLFeb, 2017

使用单词嵌入进行跨语言抄袭检测

PDF
TL;DR本文提出使用分布式单词表示（word embeddings）来进行跨语言文本相似度检测，并通过组合不同的方法来验证它们的补充性，最终在非常具有挑战性的语料库上，在块级别下实现了英法相似度检测的总体 F1 得分 89.15％（在句级别下为 88.5％）。
distributed representationword embeddingscross-language similarity detectionf1 scorechunk level
发现论文，激发创造
  • 跨语言抄袭检测的简单有效方法

    本研究提出了一种简单的跨语言抄袭检测方法，不依赖于机器翻译和词义消歧，适用于许多语言，包括资源匮乏的语言，其有效性已证明在几个现有和新的基准中达到了最先进的成果，特别是对于法语、俄语和亚美尼亚语，其依赖于开放式多语言词库和预先训练好的多语言 BERT 语言模型。

    Apr, 2023

  • 跨语言抄袭检测方法的深度研究

    本文对跨语言抄袭检测方法进行了深入研究，使用一种新的开放数据集，包含多个特征的平行和可比较的文集，我们针对 6 种语言对 2 种文本单元进行研究，以便在深入分析文档风格和语言之间的相关性的同时，得出最佳方法的稳健结论。

    May, 2017

  • Polyglot: 多语言 NLP 的分布式词表示

    使用多种语言 Wikipedia 来为 100 多种语言训练单词嵌入表示，并将其应用在词性标注中取得了与英语、丹麦语和瑞典语接近最新成果的表现。此外，通过单词分组的距离等方式，进一步研究了这些嵌入所捕获的语义特征，并将这些嵌入公开以帮助多语言应用的开发和增强.

    Jul, 2013

  • SemEval-2017 任务 1 中的 CompiLIG: 用于语义文本相似性的跨语言抄袭检测方法

    使用基于语法、字典、上下文和机器翻译的多种方法，并采用无监督和有监督的方式组合，我们的最佳运行在 SemEval-2017 的 STS Track4a 中排名第一，与人类注释的相关性达到 83.02%。

    Apr, 2017

  • 学习极短文本的语义相似性

    研究了基于单词嵌入和 tf-idf 相似性的方法，用于匹配短文本片段，并得出使用两种方法的混合方法可以更好地模拟非常短的文本片段中的语义内容。

    Dec, 2015

  • 多语种去重策略：应用可扩展相似度搜索与单语和多语嵌入模型

    本文介绍了使用先进的 NLP 工具对多语种文本数据进行去重的方法。我们比较了一个包括翻译为英文后嵌入 mpnet 的两步方法和一个多语种嵌入模型 (distiluse)。两步方法在 F1 得分方面表现更好 (82% vs. 60%)，特别是在较少使用的语言上，可以通过利用基于领域知识的专家规则将其提高至 89%。我们还强调了与标记长度限制和计算效率相关的局限性。我们的方法对未来的多语种去重任务提出了改进建议。

    Jun, 2024

  • 使用双语句子嵌入的有效并行语料库挖掘

    该研究提出了一种有效的并行语料库挖掘方法，使用双语句子嵌入进行训练，通过引入硬负例来实现。该方法是基于语义相似度的，结果表明该方法可以用于重建平行文本，从而训练出 NMT 模型，与使用原始数据训练的模型相差不大。

    Jul, 2018

  • 跨语言单词嵌入模型的实证比较

    通过系统比较四种不同的方法，本研究对于在四个不同语言对上诱导跨语言词向量的方法进行了评估，包括内在评估和外在评估，并展示在某些任务上，廉价监督模型的性能是有竞争力的。

    Apr, 2016

  • 跨语言词嵌入模型调查

    本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

    Jun, 2017

  • 跨语言嵌入的多语言攻击性语言识别

    本文探讨了如何利用跨语境上下文词向量和迁移学习在使用资源较少的本地化语言中进行社交媒体中的冒犯内容检测，结果表明这个方法在孟加拉语、印地语和西班牙语等多种语言中的检测效率较高。

    Oct, 2020