Feb, 2024

评估 ChatGPT 的垃圾邮件检测性能

PDF
TL;DR本研究旨在评估 ChatGPT 在英文和中文电子邮件数据集上用于垃圾邮件识别的能力，并探讨训练样本大小对 ChatGPT 性能的影响。通过在上下文中学习，我们使用 ChatGPT 进行垃圾邮件检测，并将其性能与朴素贝叶斯、支持向量机 (SVM)、逻辑回归 (LR)、前馈神经网络 (DNN) 和 BERT 分类器等五种流行的基准方法进行比较。尽管在大型英文数据集中，ChatGPT 的性能明显差于深度监督学习方法，但在低资源的中文数据集上表现优异，甚至超越了 BERT。
spam identificationchatgptnatural language processingemail datasetsbenchmark methods
发现论文，激发创造
  • ChatGPT，还是不 ChatGPT：这是一个问题！

    本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

    Apr, 2023

  • ChatGPT 是否能与神经机器翻译匹敌？一项比较研究

    通过比较 ChatGPT 和主流神经机器翻译（NMT）引擎将中文外交文本翻译成英文，本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明，在不同的提示下，自动化度量对 ChatGPT 产生了类似的结果，而当提供翻译任务的示例或上下文信息时，人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著，这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。

    Jan, 2024

  • 关于基于训练的 ChatGPT 检测方法的泛化性

    ChatGPT 是最流行的语言模型之一，在各种自然语言任务上表现出色。本研究的目的是全面调查这些方法在分布偏移下的泛化行为，包括提示、文本长度、主题和语言任务，从而为 ChatGPT 检测的未来方法或数据收集策略的开发提供指导。

    Oct, 2023

  • 评估 ChatGPT 在多语言和基于表情符号的仇恨言论检测中的性能

    对 ChatGPT 语言模型进行 11 种语言中的仇恨言论检测和 emoji 影响分析，揭示模型的缺陷和需要进行进一步研究和改进的必要性。

    May, 2023

  • 利用 ChatGPT 在虚假消息中发挥力量：一次对生成、检测和解释的深入探索

    ChatGPT 的生成、解释和检测虚假新闻的能力进行了全面的探索，证明了其在生成高质量虚假新闻样本、解释虚假新闻特点和检测虚假新闻方面表现良好，但仍有改进的空间，并进一步研究了提升其检测能力的潜在额外信息。

    Oct, 2023

  • 面向语言模型生成文本的鲁棒检测：ChatGPT 是否易于检测？

    该论文提出了一种用于开发和评估 ChatGPT 检测器的方法，重点研究它们对领域外数据和常见攻击方案的鲁棒性，结果显示在域内环境中，检测器可以有效地检测 ChatGPT 生成的文本，但在域外环境中存在容易受到攻击的弱点.

    Jun, 2023

  • 在药物监测事件提取中利用 ChatGPT 的实证研究

    探索大型语言模型 (LLMs) 在医学应用方面的潜力，特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验，评估了 ChatGPT 在药物监测事件提取任务中的性能，并采用了各种提示和演示选择策略。研究结果表明，虽然 ChatGPT 在适当的演示选择策略下表现出了合理的性能，但与完全微调的小型模型相比仍然有所不足。此外，我们探索了利用 ChatGPT 进行数据增强的潜力。然而，我们的研究发现将合成数据引入微调可能会导致性能下降，可能是由于 ChatGPT 生成的标签中存在噪声。为了减轻这个问题，我们探索了不同的过滤策略，并发现在适当的方法下可以实现更稳定的性能，尽管不断改进仍然具有挑战性。

    Feb, 2024

  • 关于中国文本纠错的大型语言模型的 (非) 有效性

    对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

    Jul, 2023

  • 发挥 ChatGPT 在翻译中的威力：一项实证研究

    本文探究了如何用 ChatGPT 辅助机器翻译，提出了多种翻译提示。实验结果表明，ChatGPT 在高资源语言翻译方面的表现与专业翻译系统相当或更好，在低资源翻译方面略逊于专业翻译系统，并在多参考文献翻译和特定领域翻译方面表现出优异的性能。 此外，我们进行了几个快速提示，表现出不同基础提示的一致改进。这项工作提供了 ChatGPT 在翻译方面仍然具有巨大潜力的实证证据。

    Apr, 2023

  • 以火攻火：ChatGPT 能否检测生成的人工智能文本？

    研究中探讨了 ChatGPT 作为 AI 生成文本检测器的性能，通过评估它在人工编写与 AI 生成文本检测任务上的零样本表现，并对公开可用的数据集进行实验。结果发现 ChatGPT 以及类似的大型语言模型可在自动化检测流程中发挥作用，通过专注于解决问题的一个特定方面并从该解决方案派生出其他方面的解决方案。

    Aug, 2023