Dec, 2022

一种预训练的 BERT 模型适用于 Android 应用

PDF
TL;DR我们提出了 DexBERT，这是一个类似于 BERT 的语言模型，专门用于表示 Android 应用程序中使用的主要二进制格式 DEX 字节码，以提高在两个不同的基于类级别的软件工程任务中的实用性：恶意代码本地化和缺陷预测。
machine learningandroidbytecodeuniversal representationdexbert
发现论文，激发创造
  • 基于神经嵌入和 BERTroid 的安卓恶意软件检测

    BERTroid 是基于 BERT 架构构建的创新恶意软件检测模型，作为主动式防御机制，其表现优于现有的解决方案，通过在多个数据集上评估，证明了在安卓系统上应对恶意软件的潜力。

    May, 2024

  • DexRay: 基于字节码图像表示的 Android 恶意软件检测的简单而有效的深度学习方法

    本文提出了一种基于图像的 Android 恶意软件检测方法 —— DexRay，该方法将 DEX 文件的字节码转换为灰度向量图，并将其馈送到一维卷积神经网络模型中，对比 158k 个 app，实现了高检测率（F1-score=0.96），并探讨了时间衰减和图像缩放的影响以及对抗混淆攻击的鲁棒性。

    Sep, 2021

  • MobileBERT：一种紧凑型的面向资源受限设备的通用任务 BERT 模型

    本文介绍了 MobileBERT，它是一种用于压缩和加速流行的 BERT 模型的方法，通过使用瓶颈结构和仔细设计的自我关注和前馈网络之间的平衡来实现。实证研究表明，MobileBERT 比 BERT_BASE 小 4.3 倍，比 BERT_BASE 快 5.5 倍，并在众所周知的基准测试中取得了有竞争力的结果。

    Apr, 2020

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 应用 CodeBERT 对 Java 简单缺陷进行自动化程序修复

    本文提出一种基于 CodeBERT 的自动化程序修复方法，使用 ManySStuBs4J 小和大数据集对模型进行微调，能够准确地预测开发人员在 19-72％的情况下实现修复代码，并可以在不到一秒钟的时间内自动生成修复程序。

    Mar, 2021

  • CodeBERT：编程和自然语言的预训练模型

    CodeBERT 是一种双模态预训练模型，支持自然语言和编程语言应用，基于 Transformer 神经架构，通过替换标记检测的预训练任务进行训练，表现出卓越的性能和前瞻性。

    Feb, 2020

  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • 边缘设备上的量化 Transformer 语言模型实现

    大规模基于 transformer 的模型如 BERT，可以转换为针对资源受限边缘设备优化的 FlatBuffer 格式，用于声誉分析等任务，其性能较好且具有隐私保护特性。

    Oct, 2023

  • MathBERT：用于数学教育中通用自然语言处理任务的预训练语言模型

    本研究的目的是为了提高应用自然语言处理在数学教育中的效果，我们提出了 MathBERT，一种专门针对数学文本域的预训练模型。MathBERT 在基于数学语料库上的三个自然语言处理任务中表现出优异的性能，我们还采用了一种数学特定的词汇表来进一步提高模型的性能。我们公开了 MathBERT 的模型参数以供公众使用。

    Jun, 2021