bert model | BriefGPT - AI 论文速递

关键词bert model

搜索结果 - 119

释放无标签数据的力量：智能电网中用于网络攻击检测的自监督学习框架
提出了基于自监督学习的框架用于检测和识别各种类型的网络攻击，该框架利用大量未标记的感知数据中的隐式模式来学习具有概括性和有效性的表示，同时结合少量标记数据训练特定任务的分类器，以及提出了一种新的损失函数来解决现实世界中训练数据不平衡的问题，
PDFa month ago
CANAL -- 基于经验法的网络活动新闻预警语言模型与高成本 LLM 的对比
我们的研究提出了一个新的经验性框架，利用 BERT 模型解析和分类新闻文章中的网络相关信息，提高市场利益相关者的实时警惕性。该框架通过使用基于随机森林的新型银标签方法，将其命名为 CANAL（网络活动新闻警报语言模型），以进行网络分类。我们
PDF2 months ago
使用人工智能通过推特进行多类抑郁症检测
使用推特数据库中的推文，通过词典标注预测了五种抑郁症（双向传输编码器表示）BERT 模型用于特征提取和训练机器学习和深度学习方法用于训练该模型。BERT 模型表现出最有希望的结果，达到了 0.96 的总体准确性。
PDF2 months ago
基于机器学习的电子商务产品智能分类与个性化推荐
个性化推荐系统在电子商务领域的应用及挑战，以及利用 BERT 模型和最近邻算法设计的 eBay 电子商务平台的个性化推荐系统的高效性和可行性。
PDF3 months ago
BERT 模型中的注意力分数对 GLUE 基准上的句法和语义任务中的词类意识研究
本研究通过对 BERT 模型进行细调过程中，考察词汇类别对注意力分数的影响，进一步验证了重点语义信息的下游任务中注意力分数主要集中在内容词上的假设，并揭示了 BERT 层对特定词汇类别具有一致偏好的存在。
PDF3 months ago
用非线性力量击打 “探测性” 及更多
通过使用非线性结构探测器来研究编码信息的结构特点，这篇论文提出了一种简化而有效的非线性结构探测器设计，并设计了一个可视化框架来定性地评估句子中两个词之间的连接强度，并用于探索 BERT 在各层中编码的依赖关系树的结构。研究发现，径向基函数（
PDF4 months ago
粒子跟踪语言模型
粒子跟踪是大型强子对撞机几乎所有物理分析程序的关键，深度学习模型广泛应用于与粒子跟踪相关的任务。然而，目前的做法是为一个任务设计和训练一个深度学习模型，采用有监督学习技术。训练的模型对于训练过的任务效果良好，但在泛化能力方面显示出很少或没有
PDF5 months ago
HyperBERT: 在文本属性化超图上混合超图感知层与语言模型进行节点分类
开发一种新的架构 HyperBERT，结合了超图的关系结构和预训练 BERT 模型，用于解决节点分类问题，并在 5 个具有挑战性的文本属性超图节点分类基准测试中取得了最新的最佳结果。
PDF5 months ago
MLPerf 训练突破：BERT 优化案例研究
提出了新的方法，包括负载均衡、通信成本隐藏、优化器重新评估，并结合超参数优化和更大的批次使用 ADAM 等技术，实现了最快的 MLPerf BERT 训练，比其他两个（一个）MLPerf v1.1（v2.0）提交的结果更快。
PDF5 months ago
印地语天城文多类遗憾检测
社交媒体上印地语言使用者的数量在近年来大幅增加。后悔是我们日常生活中常见的情感体验。本研究聚焦于印地语言中的后悔表达，通过实证研究、语言分析和深度学习模型等方法，探究了后悔在社交媒体平台上的影响、表达方式以及常见领域，结果显示在人际关系领域
PDF5 months ago
SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析
使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT
PDF6 months ago
迭代掩码填充：一种使用掩码语言建模的有效文本增强方法
我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增
PDF6 months ago
跨不同化学领域的迁移学习：利用在小分子和化学反应数据上预训练的深度学习模型进行有机材料的虚拟筛选
使用机器学习预测有机材料属性是一种高效的虚拟筛选方法，本研究证明药物类小分子和化学反应数据库可用于预训练 BERT 模型以进行有机材料的虚拟筛选，并展示了其在机器学习模型训练中的优越性能，进一步加强了跨不同化学领域的迁移学习在有机材料的虚拟
PDF7 months ago
利用大型语言模型自动检测在线文本中的问题赌博迹象
使用德国一个主要赌博讨论论坛上的数据，通过对论坛帖子进行 BERT 模型的调整，训练结果显示，通过基于诊断标准进行手工注释生成高质量训练材料，可以在小数据集上可靠地使用 BERT 模型检测在线交流数据中的问题赌博迹象，此类计算方法可能有助于
PDF7 months ago
使用深度学习方法确定有毒评论和意外模型偏差最小化
使用 BERT 模型，通过对权重损失的加权处理，检测有毒评论并减少对包括种族、性别、宗教在内的身份特征的意外偏见。与传统的逻辑回归模型相比，经过微调的 BERT 模型在分类和偏见减少方面表现得更好，具有 89% 的准确率。
PDF8 months ago
Split-NER：基于两个问题 - 回答分类的命名实体识别
我们通过将 NER 问题分成两个逻辑子任务来解决，即 Span Detection 和 Span Classification，进一步将两个子任务形式化为问答问题，使用两个较为简洁的模型针对每个子任务进行优化。与 OntoNotes5.0、
PDF8 months ago
COVIDFakeExplainer：一种基于可解释机器学习的用于检测 COVID-19 虚假新闻的 Web 应用程序
使用机器学习和 BERT 模型作为工具，通过实时检测和解释性功能，辨别 COVID-19 相关的假新闻，为用户提供可理解的分类结果。
PDF8 months ago
阿富汗武装冲突中的致命性分类文本数据分析：BERT 方法
通过使用 ACLED 数据集以及基于 BERT 模型的机器学习技术，本研究旨在准确分类阿富汗武装冲突的死亡与非死亡结果，从而为资源分配、政策制定和人道援助等各个领域提供帮助，并为未来预测阿富汗事件严重性的努力铺平道路。
PDF9 months ago
基于词嵌入的主题建模流程
通过结合基于词嵌入、降维和聚类的算法，本研究旨在从未分类的文本集合中获取主题；文本嵌入算法采用了 BERT 模型，这是一种在自然语言处理任务中广泛应用的神经网络架构；为了处理高维数据，使用 UMAP 降维技术，能保留原始数据的局部和全局信息
PDF9 months ago
股市情绪分类和精细调整的 BERT 回测
基于情绪理论，本文以东方财富网为例，从用户评论数据中提取情感信息，并结合 Alpha191 模型进行回归分析，结果显示情感因素的加入使回报率相比于基准模型提高了 73.8%，相比于原始 alpha191 模型提高了 32.41%。同时讨论了
PDF9 months ago