MDSE 系统中神经语言模型和少样本学习的技术报告

Nov, 2022

Technical Report on Neural Language Models and Few-Shot Learning for Systematic Requirements Processing in MDSE

Vincent Bertram, Miriam Boß, Evgeny Kusmenko, Imke Helene Nachmann, Bernhard Rumpe...

TL;DR本文针对汽车领域系统工程中开发过程中所出现的大量需求，探讨了利用基于大型预训练语言模型的少样本学习实现从非正式需求到结构化语言进行自动翻译的方法，并表明少于十个翻译示例的支持集就足以进行语言模型的少样本训练。

Abstract

systems engineering, in particular in the automotive domain, needs to cope with the massively increasing numbers of requirements that aris

发现论文，激发创造

自然语言处理在需求工程中的半自动化规范化过程中起着重要作用，提供了更好的辅助，并可适用于特定用例和领域。

Sep, 2023

本文针对汽车领域文本软件需求分类问题，提出了对极少量标注样本进行 Few-shot 学习 fine-tuning 的算法和方法，发现在只有数十个标注样本时，SciBERT 和 DeBERTa 的效果最好；但随着标注样本数量的增加到 50 个，相对于 Siamese 和 T5，它们的性能提升微乎其微

Feb, 2023

本文基于对 257 篇文献的系统文献综述，对自然语言处理和机器学习在需求规范化中的应用进行了分类和总结，发现现有研究主要采用启发式 NLP 方法和传统机器学习技术，同时也指出了标准基准案例的缺失导致了不同方法性能比较的困难。

Mar, 2023

基于大型语言模型的原型管道可以在每次更新后自动细化和分解需求，还能对需求数据集进行审查，找出冗余或矛盾的需求，该研究通过多个迭代的设计科学，让不同公司的专家从定量和定性两个方面评估每个周期，最终在一个案例公司中实施了原型，并由负责团队评估其效率。

Mar, 2024

本研究提出了使用零样本学习方法进行需求分类的可能性，使用了上下文词嵌入和基于 transformer 的语言模型，通过一系列实验展示了该方法在三项分类任务上取得了不俗的结果。这种零样本学习方法可以缓解在需求工程中数据短缺的问题。

Feb, 2023

ChatGPT 能够从自然语言需求中生成 UML 序列图，但生成的模型在完整性和正确性方面存在挑战，尤其在需求不明确和不一致的情况下。此研究对要求工程领域中的大型语言模型的实际应用和有效的模型生成提示策略具有重要影响。

Apr, 2024

使用多语言 Transformer 模型和适配器扩展加上少样本学习方法的组合，成功地在沟通科学领域的实际案例中实现了通过自动检测声明和论据并确定其立场来改善包括复杂语义类别编码在大数据集上的自动内容分析，提供了与完全微调 PLMs 相媲美的有效性，同时在沟通研究中具有更好的特性。

Dec, 2023

本文介绍了一种金字塔式的开发流程，将需求规范纳入标准的机器学习开发流程，以适应高风险或安全关键应用领域，并防止不考虑要求可能带来的严重后果。

Apr, 2023

利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

Apr, 2021

评估自然语言处理（NLP）工具在需求工程中的应用，发现目前没有开源的方法可以直接从文本中提取信息结构，认为需要不同的方法，可以通过管理算法、知识库和文本语料库来实现。

Feb, 2022