Oct, 2022

利用预训练模型进行故障分析三元组生成

PDF
TL;DR本文研究了利用 Transformer 模型的注意机制为下游任务生成半导体行业中的故障分析三元组（FATs）。发现使用 1.5B 参数进行训练的 GPT2 模型在 ROUGE 上的表现显著优于 BERT、BART 和 GPT3 等其他 Transformer 模型，在人类评估和结构化 FAT 数据方面引入了 Levenshstein 顺序评估度量（LESE）。
pre-trained language modelstransformer modelsfailure analysis tripletsgenerative pre-trained transformer 2levenshstein sequential evaluation metric
发现论文，激发创造
  • 使用预训练 Transformer 模型进行数据增强

    本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过了其他数据增强方法，在数据分布和类标签信息保存方面也进行了探讨。

    Mar, 2020

  • 预训练语言模型用于电力时间序列预测

    通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

    Feb, 2023

  • BERT 与 GPT 在金融工程中的比较

    该研究对多个 Transformer 模型进行基准测试，展示了这些模型如何从新闻事件中判断情感。这个信号随后可用于下游建模和商品交易的信号识别。我们发现，在这一任务中，微调的 BERT 模型优于微调或原版的 GPT 模型。研究还提出了 CopBERT 模型，它在域特定的 BERT 训练模型（如 FinBERT）的性能上表现更好。综上所述，BERT 模型可能不会成为下一个 XGboost，但对于需要融合可解释性和准确性的金融工程任务来说，它代表了一个有趣的选择。

    Apr, 2024

  • 通过手工制作的对抗性例子评估预训练语言模型的容易受攻击性

    本文探讨了最新的预训练语言模型（PLMs），包括 GPT-3 和 BERT，存在安全漏洞，使其容易受到对抗性攻击的影响，并提出了一种有效的对抗方法来测试模型的语义相似性并减少其分类质量。

    Sep, 2022

  • 使用预训练 Transformer 作为通用计算引擎

    本研究探究了预先在自然语言处理上训练的 transformer 模型是否可以在最小化调整下进行泛化以适用于其他模式，并研究其在数字计算、视觉和蛋白质折叠预测等序列分类任务上的优化性能。结果表明，预训练模型对非语言下游任务的性能和计算效率都有积极作用。

    Mar, 2021

  • 抓住我就行：使用生成式预训练变压器的大型语言模型识别虚假医生评论

    研究人工智能技术在区分真假医生评论方面的应用，发现 GPT-3 在分类医生评论方面优于传统机器学习方法，并且 GPT-3 表现不受样本量影响。通过对真假评论的对比，研究发现虚假评论比真实评论更具临床内容、情感保守，并且语法结构更完整。

    Apr, 2023

  • 评估由 OpenAI 的 GPT 生成的大型语言模型的文本摘要

    本研究通过使用传统的 ROUGE 和潜在语义分析（LSA）等指标，将 OpenAI 的 GPT 模型作为独立的评估者，评估了 Hugging Face 的六个基于 Transformer 的模型生成的文本摘要的效果。独特地，我们将 GPT 用作评估器而非摘要生成器，使其能够独立评估摘要的质量，而无需预定义的指标。我们的分析显示 GPT 评估与传统指标之间存在显著相关性，尤其是在评估相关性和连贯性方面。结果展示了 GPT 作为评估文本摘要的强大工具的潜力，提供了对已建立指标的补充洞察，并为自然语言处理任务中基于 Transformer 的模型的比较分析提供了依据。

    May, 2024

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • 基于 Transformer 的语言模型

    本篇论文针对 Transformer 架构不足以高效融合语言建模所需的单词级序列上下文，提出了在保持计算效率的同时通过添加额外的 LSTM 层能够更好地捕捉顺序上下文的有效 Transformer 架构，其中 Coordinate Architecture Search（CAS）通过迭代模型的精炼来找到一个有效的架构，实验结果表明 CAS 在所有问题上的 perplexities 达到了 20.42 ~ 34.11，即比最先进的 LSTM 提高了 12.0 perplexity 单位。

    Apr, 2019