albert | BriefGPT - AI 论文速递

关键词albert

搜索结果 - 20

mALBERT：一个紧凑的多语言 BERT 模型是否值得？
提出了一种基于 Wikipedia 数据的多语言紧凑型 ALBERT 模型的免费发布，以解决关于 Pretained Language Models（PLM）的伦理和生态影响的问题，并在经典自然语言处理任务中对该模型进行了评估。
PDF3 months ago
深度学习框架开发中自动识别假设的探索性研究
研究通过构建一个包含 TensorFlow 和 Keras 代码库的最大假设数据集（AssuEval）并使用七种传统机器学习模型以及一个大型语言模型（ChatGPT）对其进行评估，发现 ALBERT 在假设识别方面表现最好，而 ChatGP
PDF6 months ago
基于 Transformer 模型（BERT，ALBERT 和 RoBERTa）在假新闻检测中的性能分析
该研究探索了 transformer 模型，发现 ALBERT 在检测印尼语假新闻方面表现最佳
PDFa year ago
San-BERT: 使用 BERT 及其变体进行梵文文档的摘要提取
研究人员使用 Sanskrit 语文本语料库开发了 Sanskrit 语言模型 BERT、ALBERT 和 RoBERTa，并从中提取特征，应用维度降低和聚类技术生成了给定文本的摘要，并公开了一个 Sanskrit Devanagari 文
PDFa year ago
PALBERT: 教授 ALBERT 思考
本文提出了一种改进的 PonderNet 模型，采用新的 deterministic Q-exit 准则和修订后的模型体系结构，并将其应用于 ALBERT 和 RoBERTa，结果优于 PABEE，在深入的消融研究中进一步理解了 Lambd
PDF2 years ago
伪对数似然在自然语言评分中的应用
本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。
PDF2 years ago
ACL用随机加权平均方法测试 ALBERT 的情感分析任务鲁棒性
本研究研究了模型的鲁棒性，特别是在情绪分析任务上的鲁棒性，通过研究 ALBERT 与 SWA 的结合来分析 SWA 的稳定性，通过 CheckList 准则量化稳定性，发现 SWA 不仅可以降低错误率，还可以集成模型贯穿梯度下降轨迹的快照来
PDF3 years ago
基于特定领域 ALBERT 的生物医学自然语言处理任务基准测试
通过适应生物医学领域 (PubMed、PubMed Central 和 MIMIC-III 数据集) 并微调了 20 个基准数据集上的 6 个任务，我们提出了 BioALBERT，并展示了它在大部分任务中优于现有技术。
PDF3 years ago
开放协作中的分布式深度学习
本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后
PDF3 years ago
ACL半监督多目标学习方法用于客户联系意图分类
运用域和任务自适应预训练模型 ALBERT 在顾客联系文本上，通过利用未标注数据、进行半监督学习，将多分类问题解决为多任务学习，从而提高了客服意图分类模型的性能。
PDF3 years ago
Czert-- 用于语言表达的类波津 (BERT) 捷克模型
本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。
PDF3 years ago
使用 Stocktwits 数据进行文本挖掘以预测股票价格
介绍一个基于 ALBERT 算法的 FinALBERT 模型，训练数据为标记为股票价格变化的 25 个公司的 10 年的 Stocktwits 数据集，通过对传统机器学习、BERT 和 FinBERT 模型训练数据集的实验，得出该标记方法有
PDF3 years ago
KoreALBERT：针对韩语语言理解的轻量级 BERT 模型预训练
该研究开发并预训练了 KoreALBERT 模型，实现了针对韩语理解的单语言 ALBERT 模型，采用新的训练目标 - WOP，与现有的 MLM 和 SOP 方法结合，尽管参数较少，但预训练的 KoreALBERT 在 6 项不同的 NLU
PDF3 years ago
BERT 和 ALBERT 句子嵌入在下游 NLP 任务中的表现评估
探讨了使用 BERT 和 ALBERT 进行 Sentence Embedding 的方式，并通过实验发现，对于 STS 和 NLI 数据集的任务，ALBERT 表现明显优于 BERT。
PDF3 years ago
AAAI基于图推理网络和定制化预训练的多轮对话应答选择模型
本文提出基于图推理网络（GRN）的多轮对话检索中的响应选择方法，并探究了其在序列推理和图推理方面的表现。在两个对话推理数据集上的实验表明，该模型可以显著优于强基准方法，并可以达到接近人类水平的性能。
PDF4 years ago
COLING探究 Masked Language Models 中的语言知识：以美式英语中的关系从句为例
通过句子级探测、诊断案例和掩蔽预测任务的评估，我们针对相对子句测试了三种模型（BERT，RoBERTa 和 ALBERT）的语法和语义知识，在自然数据集上，探测表明三种模型确实捕获了关于语法正确性的语言知识，但对包括语义知识在内的细粒度语言
PDF4 years ago
EMNLP预训练语言模型的胚胎学：ALBERT 的诞生
研究预训练语言模型的 “胚胎学”，发现 ALBERT 在预训练过程中以不同的学习速度学习重建和预测不同词性的词元。另外，语言知识和世界知识并没有随着预训练的进行而普遍改善，下游任务的性能也没有提高。
PDF4 years ago
BioALBERT: 一种简单而有效的预训练语言模型，用于生物医学命名实体识别
提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。
PDF4 years ago
UPB 在 SemEval-2020 任务 8 中：多任务学习体系结构中的文本和视觉建模用于情感分析
本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。
PDF4 years ago
Gestalt: SQuAD2.0 的叠加集合
本文提出了一种基于深度学习的系统，在 SQuAD2.0 任务中，通过对话段落来寻找或指示问题的正确答案，它可以学习一个异构 SQuAD2.0 模型的集合，在进行合适的融合后，能够胜过单个最佳模型。我们创造了一种堆叠集合，将两个基于 ALBE
PDF4 years ago