Apr, 2023

抓住我就行：使用生成式预训练变压器的大型语言模型识别虚假医生评论

PDF
TL;DR研究人工智能技术在区分真假医生评论方面的应用，发现 GPT-3 在分类医生评论方面优于传统机器学习方法，并且 GPT-3 表现不受样本量影响。通过对真假评论的对比，研究发现虚假评论比真实评论更具临床内容、情感保守，并且语法结构更完整。
发现论文，激发创造
  • 使用神经语言模型生成保留情感的虚假在线评论及其人工和机器检测

    本文研究表明，利用公开的神经语言模型，结合情感方面的分类器，所生成的假评论可以成功地欺骗人和机器，故而需要采取应对措施。

    Jul, 2019

  • 超越炒作：评估 GPT3.5 的性能、可信度和临床适用性

    本研究旨在评估一个新型的大型语言模型 GPT3.5 在医学图像协议分配上的表现，并与经过微调的 BERT 模型和放射科医生进行比较。结果显示，GPT3.5 在性能方面略逊于 BERT 和放射科医生，但在解释决策、检测相关词汇指标和模型校准方面优于 BERT。此外，我们还发现了一些系统性错误，需要加以解决以提高其在临床中的使用安全性和适用性。

    Jun, 2023

  • 基础大型语言模型能辅助进行制药生产调查吗？

    利用历史记录，将大型语言模型（LLM）应用于制药生产调查，提取特定信息并进行语义搜索。

    Apr, 2024

  • 解码信任：对 GPT 模型的信任度全面评估

    本文提出了一种针对 GPT-4 和 GPT-3.5 的综合可信度评估方法，考虑了种族偏见，毒性，对抗鲁棒性，越界鲁棒性，对抗演示的鲁棒性，隐私，机器伦理和公平性等因素。评估发现了先前不公开的可信度威胁漏洞，例如，GPT 模型可以很容易地被误导生成有毒和有偏向性的输出并泄露私人信息。

    Jun, 2023

  • 利用预训练模型进行故障分析三元组生成

    本文研究了利用 Transformer 模型的注意机制为下游任务生成半导体行业中的故障分析三元组（FATs）。发现使用 1.5B 参数进行训练的 GPT2 模型在 ROUGE 上的表现显著优于 BERT、BART 和 GPT3 等其他 Transformer 模型，在人类评估和结构化 FAT 数据方面引入了 Levenshstein 顺序评估度量（LESE）。

    Oct, 2022

  • 大型语言模型的自动索赔匹配：在打击虚假信息中赋予事实检查员权力

    通过使用 FACT-GPT 框架，我们介绍了一种自动化事实核查的方法，该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容，无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明，我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美，与人工标注结果密切一致。

    Oct, 2023

  • MAiDE-up: GPT 生成的酒店评论的多语言欺诈检测

    通过对 MAiDE-up 数据集进行语言分析，研究了 AI 生成的虚假评论与真实评论的区别，并确定了影响欺诈检测模型性能的因素。发现情感、位置和语言等因素对于检测 AI 生成的假评论的准确性产生影响。

    Apr, 2024

  • 利用 AI 对抗 AI：在社交媒体上对抗机器生成的虚假餐厅评论

    利用高质量的 Yelp 餐馆精英评论来生成假评论，并最终微调 GPT 输出检测器以预测并显著优于现有解决方案的假评论，进而预测非精英评论并识别跨多维度（例如评论、用户和餐厅特征以及写作风格）的模式。虽然社交媒体平台可以实现检测系统来过滤可疑评论，但是机器生成的假评论对社交媒体平台仍带来不断的挑战。

    Feb, 2023

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • 通过手工制作的对抗性例子评估预训练语言模型的容易受攻击性

    本文探讨了最新的预训练语言模型（PLMs），包括 GPT-3 和 BERT，存在安全漏洞，使其容易受到对抗性攻击的影响，并提出了一种有效的对抗方法来测试模型的语义相似性并减少其分类质量。

    Sep, 2022