Apr, 2023

跨语言抄袭检测的简单有效方法

PDF
TL;DR本研究提出了一种简单的跨语言抄袭检测方法，不依赖于机器翻译和词义消歧，适用于许多语言，包括资源匮乏的语言，其有效性已证明在几个现有和新的基准中达到了最先进的成果，特别是对于法语、俄语和亚美尼亚语，其依赖于开放式多语言词库和预先训练好的多语言 BERT 语言模型。
cross-lingualplagiarism detectionmultilingual bert-based language modelsopen multilingual thesauriunder-resourced languages
发现论文，激发创造
  • 跨语言抄袭检测方法的深度研究

    本文对跨语言抄袭检测方法进行了深入研究，使用一种新的开放数据集，包含多个特征的平行和可比较的文集，我们针对 6 种语言对 2 种文本单元进行研究，以便在深入分析文档风格和语言之间的相关性的同时，得出最佳方法的稳健结论。

    May, 2017

  • 抄袭检测系统综述：以英语、法语和阿拉伯语语言为例

    本文综合比较了使用于阿拉伯语、法语和英语学术和教育场景中的八种抄袭检测系统，评估这些系统对原词抄袭、改写抄袭和跨语言抄袭等三个层次的检测效果及其特点、可用性、技术方面的表现并深入研究了技术类抄袭的形式，同时提供了不同作者提出的抄袭类型和分类的调研。

    Jan, 2022

  • 使用单词嵌入进行跨语言抄袭检测

    本文提出使用分布式单词表示（word embeddings）来进行跨语言文本相似度检测，并通过组合不同的方法来验证它们的补充性，最终在非常具有挑战性的语料库上，在块级别下实现了英法相似度检测的总体 F1 得分 89.15％（在句级别下为 88.5％）。

    Feb, 2017

  • SemEval-2017 任务 1 中的 CompiLIG: 用于语义文本相似性的跨语言抄袭检测方法

    使用基于语法、字典、上下文和机器翻译的多种方法，并采用无监督和有监督的方式组合，我们的最佳运行在 SemEval-2017 的 STS Track4a 中排名第一，与人类注释的相关性达到 83.02%。

    Apr, 2017

  • 大型多语言文档集合中文档翻译的自动识别

    本文介绍一种可通过将文档内容表示为多语言词库的词向量，并测量词向量间的语义相似度以识别大量候选文档中的翻译和其它相似文档等应用，且经测试，该系统可以在超过 820 个文档的大搜索空间中检测到 96% 以上精度的翻译及跨语言文档抄袭。

    Sep, 2006

  • 一种轻量级的跨语言语义文本相似度方法

    该研究提出了一种基于词向量的跨语义相似度计算方法，只需要一个有限的单词翻译库，能够适用于几乎所有语言对，达到与监督和资源密集型方法相近的表现，在可比较语料库中提取平行句子和跨语言抄袭检测任务中得到与现有模型相当的性能。

    Jan, 2018

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • BERT 增强的作业抄袭检测系统检索工具

    基于 GPT-3.5 的抄袭文本数据生成方法和基于 Faiss with BERT 的抄袭识别方法在文本抄袭检测任务中表现优异，并提供用户友好的演示平台。

    Apr, 2024

  • 基于文本相似度的孟加拉语抄袭检测

    通过 OCR 技术和 Levenshtein Distance 算法，我们构建了一个能够成功检测孟加拉文文本抄袭的网络应用，并利用国家数字图书馆的文献构建了一个文本语料库以提高准确性。

    Mar, 2022

  • 一种将基于 BERT 的词嵌入、基于 Attention 的 LSTMs 和改进的差分进化算法相结合的新型剽窃检测方法

    本研究提出了一种基于注意力机制的长短时记忆（LSTM）和双向编码器表示来自变压器（BERT）词嵌入的检测抄袭的新方法，它使用经过优化的差分进化（DE）方法进行预训练和使用聚类基础变异运算符的 DE 算法来引发 BP 过程。证明该方法与传统方法和基于人口的方法相比具有良好性能。

    May, 2023