bidirectional encoder representations from transformers

关键词bidirectional encoder representations from transformers

搜索结果 - 17

利用 BERT 和 Transformer 进行越南语拼写纠正
本研究结合 Transformer 架构和 BERT 提出了处理越南语拼写纠正的模型，并通过实验结果表明，该模型在此任务上优于其他方法和 Google 文档拼写检查工具，获得了 86.24 的 BLEU 分数。
PDF2 months ago
通过情感分析了解人们对人行道送货机器人的社会感知、互动和安全方面
通过对 YouTube 视频评论进行的情感分析研究，本文构建了多个文本情感分类模型，并在二分类和三分类任务中评估了模型的性能。研究结果表明，在情感分析的二分类任务中，使用词频 - 逆文档频率和 N-gram 的支持向量机模型获得最高的准确率
PDF4 months ago
从文本到转型：大型语言模型多功能性的全面评述
这项开创性的研究探讨了大型语言模型（LLMs）如生成式预训练变换器（GPT）和双向编码器表示来自变换器（BERT）在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理（NLP）方面已经展现出卓越的能力，但这些 LLMs
PDF4 months ago
使用合成数据进行语音转文本中地址提取的命名实体识别
本文介绍了一种建立在双向编码器变换器（BERT）架构上的命名实体识别（NER）模型的方法，具体使用了 SlovakBERT 模型。该 NER 模型从语音转文本转录获取的数据中提取地址部分。由于真实数据的稀缺性，使用 GPT API 生成了一
PDF5 months ago
旅游中的情感分析：BERT 微调还是句子嵌入串接？
比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short-
PDF7 months ago
自我协议：微调语言模型以寻求不同意见的一致性
本文提出了一种名为 Self-Agreement 的新框架，该框架利用由大型语言模型生成的数据来自主找到多种意见之间的一致性，通过 fine-tuning 模型，比 GPT-3 具有更高的识别多种意见之间一致性的性能，并且只需要 GPT-3
PDFa year ago
ThreatCrawl：基于 BERT 的网络安全领域聚焦爬虫
该研究发现，使用自然语言处理（NLP）提取威胁情报数据的方法已经被提出，但是文档搜索的问题并没有得到解决。本文提出了一种新的基于 BERT 的聚焦爬虫 ThreatCrawl，可以动态地分类文档并适应其爬行路径，能够成功地找到相关文档，并修
PDFa year ago
RLAS-BIABC: 一种基于增强学习的答案选择方法，利用改进的 ABC 算法提高 BERT 模型的性能
本文提出了一种名为 RLAS-BIABC 的方法，该方法建立在基于关注机制 - 长短时记忆（LSTM）和来自变压器的双向编码器表示（BERT）的单词嵌入的基础上，通过改进的人工蜂群（ABC）算法进行预训练，以及基于强化学习的算法进行 BP
PDFa year ago
TCBERT：中文主题分类 BERT 技术报告
本研究探讨了在中文主题分类任务中使用基于双向编码器的转换器 (BERT) 的有监督连续预训练，通过引入 prompt-based learning 和 contrastive learning 来提高其性能，并使用大约 2.1M 条涵盖各种
PDF2 years ago
BERT4Loc: 基于 BERT 的位置推荐系统
本研究提出了一个基于 BERT 的定位感知推荐系统，该系统可以从基于位置的社交媒体平台中提取位置信息，并根据用户的历史行为和偏好，为用户提供更相关的位置推荐结果，该模型在大量的实验数据集中一致优于现有的顺序模型。
PDF2 years ago
AAAI利用多任务多模态神经融合对教育数据库中的大学生留存风险进行分析
利用多模态时空神经融合网络开发了多任务学习模型 (MSNF-MTCL), 通过结合 BERT 和 LSTM 对学生的学术信息进行建模，可以预测 5 种重要的学生保留风险。该模型在数据量达 36,445 个学生的教育数据库上表现良好，且考虑到
PDF3 years ago
实现国家数字图书馆：挪威 Transformer 模型的案例
我们展示了如何从一个国家图书馆的数字和数字化收藏品中构建一个大规模的训练集，产生了一个基于 Bidirectional Encoder Representations from Transformers（BERT）的语言模型，其在挪威博克马
PDF3 years ago
基于创新的 Bert 重新排序语言模型在语音识别中的应用
本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。
PDF3 years ago
基于 GCN 和 BERT 的姿势型手语识别
本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。
PDF4 years ago
EMNLP重新审视中文自然语言处理预训练模型
本研究探讨了中文预训练语言模型的有效性，并向社区发布了中文预训练语言模型系列。我们还提出了一个简单但有效的模型 MacBERT，该模型在多个方面优于 RoBERTa，特别是掩蔽策略采用了 MLM 进行修正。我们在八个中文 NLP 任务上进行
PDF4 years ago
BERT 的输出层是否识别所有隐藏层？一些有趣现象和提升 BERT 性能的简单方法
本研究发现，BERT 的输出层可以通过直接将每一层作为输入来重建输入句子，即使输出层仅仅见过最终的隐藏层。基于此观察，我们提出了一种简单的方法来提高 BERT 模型在下游任务中的性能，即通过复制一些层使其更深而无需进行额外的训练。
PDF4 years ago
对 BERT 在段落重新排序中的成功与失败的调查
通过对 MS MARCO 段落重新排序数据集的实证研究，分析 fine-tuned BERT 模型的结果，探讨 BERT 在检索方面成功和失败的潜在原因及其性能中成功的细节
PDF5 years ago