bert | BriefGPT - AI 论文速递

关键词bert

搜索结果 - 778

在线仇恨言论检测的差距弥合: X/Twitter 上对同性恋内容的 BERT 与传统模型的比较分析
我们的研究通过关注同性恋恶言，填补了在线仇恨言论检测研究中的一个重要空白。通过利用先进的情感分析模型，尤其是 BERT，和传统的机器学习方法，我们开发出了一个细致入微的方法来识别 X/Twitter 上的同性恋恶言内容。这项研究具有重要意义
PDF2 days ago
可解释检测器：探索基于 Transformer 的语言建模方法用于具有可解释性分析的短信垃圾检测
使用优化和微调的基于 Transformer 的大型语言模型解决短信垃圾信息检测问题，通过预处理技术、文本扩增技术解决数据噪声和类别不平衡问题，实验结果显示我们的优化微调 BERT 模型 RoBERTa 在短信垃圾信息检测任务中获得 99.
PDF5 days ago
利用 BERT 和 Transformer 进行越南语拼写纠正
本研究结合 Transformer 架构和 BERT 提出了处理越南语拼写纠正的模型，并通过实验结果表明，该模型在此任务上优于其他方法和 Google 文档拼写检查工具，获得了 86.24 的 BLEU 分数。
PDF13 days ago
DALLMi: 基于 LLM 的多标签分类器的领域自适应
DALLMi 是一种基于 BERT 的半监督领域适应方法，通过利用 BERT 词嵌入的插值，结合有限的正标记和大量无标记的文本，使用新颖的变分损失和 MixUp 正则化进行域适应学习，以及引入标签平衡采样策略来克服有标记和无标记数据之间的不
PDF14 days ago
语义隐身：多种方法对 NLP 的对抗文本攻击
在本文中，通过对 BERT 模型进行 BERT-on-BERT 攻击、PWWS 攻击和 Fraud Bargain's 攻击 (FBA) 这三种不同的攻击机制的探索，利用 IMDB、AG News 和 SST2 等数据集进行全面对比分析，发
PDFa month ago
特徵工程的死亡？BERT 搭配 SQuAD 2.0 的語言特徵
我们开发了一个整合了 BERT 和其他语言特征的端到端问题回答模型，结果表明这种模型能够改善 BERT 基础模型，EM 得分和 F1 得分分别提高了 2.17 和 2.14。我们的最佳单一模型在隐藏测试集上达到了 EM 得分 76.55 和
PDFa month ago
LayerNorm: 参数高效微调中的关键组件
改进和优化 BERT 预训练模型以实现参数高效微调，通过分析不同组件，发现经过微调后，输出层规范化（LayerNorm）发生的变化最为显著。通过仅微调 LayerNorm，可以达到与完全微调和其他参数高效微调方法相当甚至更好的性能，并用 F
PDF2 months ago
预训练语言模型中减轻性别偏见的投影方法
研究了将最简单的投影去偏方法应用于 BERT 内部表示时，对于缓解 BERT 在内部表示中的性别偏见和精调任务中的观察到的偏见至关重要，结果发现投影方法在内部偏差和下游偏差缓解方面都有效果，但两者并不一定相关。
PDF2 months ago
航空事故报告的细粒度事件抽取的分层多标签分类
通过使用事件分类法以及 BERT 中的分层注意模块，可以更准确地识别事故报告中的事件，并且该方法在细粒度预测准确性上有所提高，并且对于罕见事件的识别问题有益处。
PDF2 months ago
寻找缺失数据：无线感知中针对包丢失的 BERT 启发式方法
使用基于 BERT 的深度学习模型 CSI-BERT 进行 Wi-Fi 信号恢复，能够捕捉不同子载波之间的顺序关系，相较于传统插值方法具有更低的错误率和更快的速度，在 Wi-Fi 感知任务中，通过利用 CSI-BERT 恢复的 CSI，其他
PDF2 months ago
多级产品类别预测通过文本分类
应用先进的机器学习模型（特别是 LSTM 和 BERT）进行文本分类以预测零售行业中的多个类别，并演示了如何应用数据增强技术和焦点损失函数可以显著提高使用强大的巴西零售数据集将产品分类到多个类别的准确性。
PDF2 months ago
大型语言模型用于同时进行命名实体提取和拼写纠正
利用 Large Language Models (LLMs) 来从图片中的日语购物小票 OCR 文本中提取出命名实体，并自动纠正文本中存在的拼写错误。
PDF3 months ago
深度学习在肝细胞癌研究中提升问答系统的方法
近年来，自然语言处理的进展主要依靠深度学习技术，尤其是利用强大的计算资源如 GPU 和 TPU。通过在大量数据上训练，BERT 和 GPT-3 等模型已经彻底改变了语言理解和生成的方式。这些预训练模型为语义理解、智能写作和推理等各种任务提供
PDF3 months ago
利用词汇匹配从高资源语言传递 BERT 的能力到低资源语言
通过词汇匹配，将 BERT 的能力从高资源语言转移到低资源语言，以改善 BERT 模型在低资源语言上的性能，从而使得高级语言理解模型更加普及化。
PDF3 months ago
ELECTRA 句子嵌入是否无法修复？语义文本相似度的案例研究
通过修复 ELECTRA 模型的嵌入方式，提出了一种新的修剪模型微调（TMFT）方法，可以显著提高其在 STS 基准数据集上的 Spearman 相关系数，并增加参数效率；该方法与词相似性任务或领域自适应预训练相结合进一步提升了性能。
PDF3 months ago
AAAI本体增强的索赔检测
我们提出了一个基于本体增强模型的句子级主张检测方法，通过将来自知识库的本体嵌入与 BERT 句子嵌入相融合，对 ClaimBuster 和 NewsClaims 数据集进行主张检测。我们的本体增强方法在这些小型非均衡数据集上展示出了最佳结果
PDF3 months ago
利用 BERT 进行信息检索：调查、应用、资源和挑战
近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成
PDF3 months ago
度量学习编码模型识别 BERT 表示中语言特征的处理特征
通过引入度量学习编码模型（MLEMs）作为一种新方法，本研究运用 MLEMs 将从 BERT 提取的神经表示应用于跟踪各种语言特征，并发现：（1）语言特征被排序，不同层次中句子的表示有不同程度的分离；（2）神经表示按层次组织，某些层次中，表
PDF3 months ago
一种基于 BERT 的新型分类器，用于根据 YouTube 视频标题检测其政治倾向
美国约四分之一的成年人定期通过 YouTube 获取新闻内容。然而，尽管该平台上存在大量政治内容，但迄今为止还没有提出可以识别 YouTube 视频政治倾向的分类器。为了填补这一空白，我们提出了一种基于 Google 的语言模型 Bert
PDF3 months ago
通过知识蒸馏和优化训练策略提高自然语言处理任务性能的大型语言模型
该研究将大型语言模型（LLMs）如 GPT-4 与传统自然语言处理（NLP）任务相结合，利用思维链（CoT）提示技术从 GPT-4 中提取知识，并应用于改进较小模型 BERT 在命名实体识别（NER）任务中的效率和效果。通过采用两阶段训练过
PDF3 months ago