distilbert | BriefGPT - AI 论文速递

关键词distilbert

搜索结果 - 20

加强审前法律分析：针对辩护陈述分类和解释的透明可访问数据集
该研究旨在应对自然语言处理和法律信息学领域内警务讯问中个人陈述的分类问题，通过引入一个新颖的训练集和一个经过调优的 DistilBERT 模型，该模型在区分真实和虚假陈述方面表现出卓越的性能，并运用可解释的人工智能方法提高解释性，最后提供一
PDF2 months ago
利用 GPT 增强文本摘要：最小化幻觉的策略
使用 DistilBERT 模型生成抽取式摘要，使用 T5 模型生成抽象式摘要，通过结合 DistilBERT 和 T5 模型生成混合摘要。我们的研究的核心是实施基于 GPT 的精炼过程，以最小化人工智能生成的摘要中常见的错觉问题。通过评估
PDF2 months ago
生物医学文献中实验方法的自动文本挖掘
生物医学文献是一个迅速扩展的科学技术领域，本研究提出了 Fine-tuned DistilBERT 方法，这是一种专门针对生物医学文本的预训练生成分类语言模型，通过 40% 减小 BERT 模型尺寸和 60% 的速度提升，证明其在语言理解能
PDF2 months ago
蒸馏模型中的对比学习
使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在
PDF5 months ago
BERT 和 DistilBERT 中导致性别偏见的结构研究
基于大型 Transformer 预训练语言模型（PLM）的研究已经改变了自然语言处理（NLP）领域，但这种性能提升伴随着复杂性的增加，以及模型规模的限制。本文通过对两个问题的实证研究探索了 BERT 和 DistilBERT 中性别偏见的
PDF6 months ago
跨越国家、时间和体裁的多语种政党宣言分类
通过对政治宣言的大规模数据库进行研究，我们展示了领域转移在地理位置、语言、时间和体裁等方面的潜力，以及细调的变压器模型在领域内的分类性能。此外，我们观察到不同来源国家的政治宣言存在（部分）显著差异，即使这些国家共享一种语言或文化背景。
PDFa year ago
通过后光学字符识别文本处理提取简历信息
本研究旨在使用目标检测和自然语言处理技术，通过分类预处理文档并使用 DistilBERT 等模型进行信息提取，比较模型的 F1 分数变化，据此提出了一种调用预训练模型完成简历信息提取的方法。
PDFa year ago
BERTino: 一种意大利 DistilBERT 模型
本论文介绍了 BERTino，这是一种特定于意大利语的 DistilBERT 模型，旨在提供第一种轻量级 BERT 架构替代方案。我们在意大利 ISDT、意大利 ParTUT、意大利 WikiNER 和多类别分类任务上评估了 BERTino
PDFa year ago
深度上下文化语言表示在文本分类中的通用性分析
该研究使用二进制新闻分类和产品评论情感分析两个任务，评估了两个最先进的深度上下文语言表示，ELMo 和 DistilBERT 的健壮性，旨在探索自然语言处理系统在通向适用于实际场景的系统的过程中的代表性能力的极限。结果显示，DistilBE
PDFa year ago
元数据可能使语言模型更好
本文研究了在历史文献收藏品中训练语言模型时加入元数据的好处，通过对 19 世纪报纸的案例研究，扩展了 Rosin 等人 2022 年提出的时间遮蔽方法，并比较了将时间、政治和地理信息插入蒙版语言模型中的不同策略。实验证明，向语言模型展示相关
PDF2 years ago
一种适用于嘈杂商务电话对话文本的高效实体识别系统
本研究提出了一种有效的方法，使用有噪声的商务电话对话转录本进行训练的命名实体识别 (NER) 模型，使用 LUKE 作为教师模型，使用大量弱标记数据和少量人工标注数据教授一个 smaller DistilBERT-based 学生模型，并在
PDF2 years ago
对话问答中省略和指代检测的主动学习和多标签分类
本文提出了一种基于 DistilBERT 的多标签分类器，在有限的标记数据上采用多标签分类和主动学习来检测对话问答中省略和共指的现象，大大提高了分类器的性能。
PDF2 years ago
一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类
本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动
PDF2 years ago
基于 Transformer 混合专家模型构建强健的问答系统
探索一种强大的问答系统的模型体系结构，其中使用了 Mixture-of-Experts 模型来训练具有更好鲁棒性的多任务学习器，该模型还使用了 DistilBERT 来生成问题向量；数据增强技术包括 Easy Data Augmentati
PDF2 years ago
使用词嵌入分析抗议新闻
CLEF 2019 的两个 ProtestNews 任务旨在对抗议和非抗议相关的新闻文章和句子进行二元分类；通过用 ELMo 和 DistilBERT 替换现有的词嵌入，DistilBERT 在不改变原始模型架构的情况下，相对于 FastT
PDF2 years ago
ACL文本分类中的词袋、图形和序列：质疑文本图和广泛 MLP 的必要性和惊人强度
本研究发现，在归纳式文本分类中，使用 Bag-of-Words 的宽 MLP 模型优于最新的基于图的模型 TextGCN 和 HeteGCN，并与 HyperGAT 相当，而基于序列的 BERT 和 DistilBERT 模型优于所有最新的
PDF3 years ago
Space - 语言模型用于 3D 视觉基础
提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域
PDF3 years ago
ACLHLE-UPC 在 SemEval-2021 任务 5 中的表现：用于检测有害语句的多层 DistilBERT
研究使用多深度 DistilBERT 模型来检测文本中的有毒片段，定量结果表明使用多个深度的嵌入可提高模型性能，并定性分析了最佳模型。
PDF3 years ago
自然语言处理技术在自发言语中预测阿尔茨海默病方面的比较
该研究使用 Spontaneous Speech 数据集文本转录，使用多种模型对 AD 和正常人的分类和预测进行训练和评估。结果表明，使用 TF-IDF 向量化器作为输入的 SVM 模型和使用 ' DistilBERT ' 的预训练模型作为
PDF4 years ago
DistilBERT：BERT 的简化版 —— 更小、更快、更便宜、更轻
通过知识蒸馏的预训练阶段，可以将 BERT 模型的大小缩小 40％，同时保持 97％的语言理解能力并且速度提升 60％，这种方法被称为 DistilBERT，并可为边缘设备上的计算提供良好的性能
PDF5 years ago