May, 2024

学术文件中的软件提及检测的 Falcon 7b

PDF
TL;DR通过研究 Falcon-7b 在学术文本中检测和分类软件提及的应用，本研究的主要目标是解决软件提及检测在学术出版物中的子任务一，即从学术文献中识别和分类软件提及。通过综合实验，本论文探讨了不同的训练策略，包括双分类器方法、自适应抽样和加权损失缩放，以提高检测准确性并克服类别不平衡和学术写作的复杂语法等问题。研究结果强调了选择性标注和自适应抽样在改善模型性能方面的益处。然而，研究还表明，整合多种策略并不一定会累积改进。该研究为特定任务如 SOMD 的大型语言模型的有效应用提供了见解，突出了解决学术文本分析中所面临的独特挑战的个性化方法的重要性。
falcon-7bsoftware mention detectionscholarly publicationsdual-classifier approachadaptive sampling
发现论文，激发创造
  • 基于 BERTology 模型的三阶段框架下的软件提及识别（SOMD 2024）

    本文通过使用不同的预训练语言模型（BERT，SciBERT 和 XLM-R）提出了三个方法来解决学术出版物中软件提及检测的子任务 I。我们的最佳系统通过一个三阶段框架来解决命名实体识别问题，实验证明我们的方法在官方数据集上取得了竞争性的性能，超过了其他参赛队伍和我们的替代方法，基于 XLM-R 模型的框架达到了 67.80% 的加权 F1 得分，在软件提及识别任务中获得了第三名。

    Apr, 2024

  • SecureFalcon：下一代网络安全专家系统

    本文介绍了 FalconLLM 在网络安全方面的应用，提出了 SecureFalcon 模型架构以便更好地检测软件漏洞。通过构造新的 FormAI 训练数据集，使用 SecureFalcon 模型，检测软件漏洞的准确率达到了 94%。

    Jul, 2023

  • Hawk：一款工业级多标签文档分类器

    论文描述了经典的多标签文档分类的不足之处，提出了一种解决方案：通过基于句子级别嵌入的神经网络架构，实现能够处理可变长度文本和杂乱文档，具有模块化、可视化、操作不平衡数据和可扩展性等特点，并通过基准测试数据集 Web of Science、BBC Sports 和 BBC News 数据集的实验结果表明，该模型比现有方法优劣明显，加权损失函数和注意力机制对于训练具体任务有重要影响。

    Jan, 2023

  • Falcon2-11B 技术报告

    我们介绍了 Falcon2-11B 和 Falcon2-11B-vlm 两个模型，分别是基于五万亿个令牌训练的基础模型和视觉 - 文本模型。我们报道了 Falcon2-11B 的训练过程，其中采用了多阶段方法，早期阶段特点是上下文长度，最后阶段使用了高质量的策划数据集。此外，我们报告了在训练过程中扩大批次大小对训练损失峰值的影响以及学习率的作用。我们评估了基础模型在多语言和代码数据集等已建立基准上的下游性能，基础模型在所有任务上都表现出强大的泛化能力，适用于下游微调的用例。对于视觉语言模型，我们报告了在多个基准上的性能，并表明我们的模型相比开源模型拥有更高的平均得分。Falcon2-11B 和 Falcon2-11B-vlm 的模型权重和代码已在宽松许可下提供。

    Jul, 2024

  • 软银系列开放语言模型

    Falcon 系列是一个先验量最大且质量最好的语言模型之一，通过预培训和多种工具的使用，Falcon-180B 在性能上超过了其他模型，使用更低的成本接近 PaLM-2-Large 模型的表现。

    Nov, 2023

  • 大语言模型的文本摘要：MPT-7b-instruct、Falcon-7b-instruct 和 OpenAI Chat-GPT 模型的比较研究

    这篇研究论文使用了各种不同的大型语言模型，包括 MPT-7b-instruct，falcon-7b-instruct 和 OpenAI ChatGPT text-davinci-003 模型，通过不同的超参数对生成的摘要进行评估，并发现 text-davinci-003 模型的表现优于其他模型。该研究还分析了 CNN Daily Mail 和 XSum 两个不同的数据集，旨在提供对大型语言模型在不同数据集上应用时性能的全面理解。这项工作为对 NLP 领域的研究人员和从业者提供了有价值的见解，同时也为开发应对各种业务挑战的高级生成式人工智能应用奠定了基础。

    Oct, 2023

  • 学术文献中的篇章层面定义检测：现有模型、误差分析和未来方向

    本篇论文提出了一个新的定义检测系统 HEDDEx，它基于语法特征和转换编码器设计，能够在标准和文档级别测试中，分别比现有系统提高了 12.7 和 14.4 F1 值并讨论了在文档级别定义检测方面的挑战和改进的建议以及阅读辅助应用的潜在问题。

    Oct, 2020

  • 增强的 BERT 嵌入用于学术出版物分类

    本研究报告介绍了基于预训练语言模型的转移学习方法在学术文献分类中的运用。通过丰富数据集、使用不同的预训练语言模型，并调整超参数，研究发现 fine-tuning 预训练模型可以显著提高分类性能，其中 SPECTER2 模型效果最佳。此外，将额外的元数据加入数据集，尤其是来自 S2AG、OpenAlex 和 Crossref 的信息，可以进一步提高分类结果。本研究对于构建可靠的自动化学术出版物分类系统具有重要意义，为研究人员高效定位相关资源提供了潜在解决方案。

    May, 2024

  • AISPACE 在 SemEval-2024 任务 8 上：用于检测多生成器机器生成文本的类平衡软投票系统

    本研究针对 SemEval-2024 Task 8 提出了一个系统，主要处理 Subtask B，该系统旨在检测给定的全文是由人类撰写还是由特定的大型语言模型生成，这是一个多类文本分类任务。我们团队 AISPACE 对基于 Transformer 的模型进行了系统的微调研究，包括仅编码器、仅解码器和编码器 - 解码器模型。我们比较了它们在该任务上的性能，并发现仅编码器模型表现出色。我们还应用了加权交叉熵损失函数来解决不同类别样本不平衡的问题。此外，我们采用了多模型集成的软投票策略来提高预测的可靠性。我们的系统在 Subtask B 中排名第一，为这个新挑战设立了最新的基准。

    Apr, 2024

  • 利用基于 Transformer 的集成学习来分类科学论文

    本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

    Feb, 2021