pre-trained | BriefGPT - AI 论文速递

关键词pre-trained

搜索结果 - 26

德国 FinBERT：一种德语预训练语言模型
德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问
PDF6 months ago
LLMs 和 Fine-tuning：针对仇恨言论检测的跨领域性能基准测试
比较不同的预训练和微调的大型语言模型对仇恨言论检测的影响，并强调了 LLMs 在不同领域的有效性和过拟合风险，通过评估，我们强调了需要通过更多样化的标签来掌握仇恨言论细微之处的微调模型的需求。最后，我们总结了对未来仇恨言论检测的展望，强调了
PDF7 months ago
ArTST：阿拉伯文本和语音转换器
我们提供了 ArTST，这是一个预先训练的阿拉伯文本和语音转换器，支持用于阿拉伯语言的开源语音技术。该模型的架构遵循最近发布的英语统一模态框架 SpeechT5，并且专注于现代标准阿拉伯语（MSA），未来版本计划将该模型扩展为方言和混合阿拉
PDF7 months ago
探索 Hugging Face 和其他模型中预训练深度学习模型的命名规范（以及缺陷）
在本研究中，我们首次对预训练模型（PTM）的命名规范和相关的命名缺陷进行了研究，通过开发新的自动命名评估技术和算法，我们揭示了 PTM 领域中的命名规范，并将其作为研究与实践关系的信号；我们展望未来的工作是通过利用 PTM 的元特征来支持模
PDF8 months ago
RRR-Net：重用、减少和循环利用深度骨干网络
从一种大型的 ResNet152 骨干网络开始，本文通过将其从 51 个块降至 5 个块，将参数和 FLOPs 的数量降低了 6 倍以上，同时保留了性能，然后在 3 个块之后将模型分割为多个分支，创建一个子网络组合以提高性能。在 40 个图
PDF8 months ago
MedChatZH：一个更好的医疗顾问从更好的指南中学习
使用生成型的大型语言模型，在中医问答领域表现令人不满意，本研究引入了一个专门为中医问答设计的对话模型 MedChatZH，该模型在中医经典著作上进行预训练，并结合医学指南数据进行精细调优，在真实的医学对话数据集上胜过了几个基线模型。我们在链
PDF8 months ago
大型 Transformer 模型在 EEG 学习中表现更好
我们展示了从图像和文本中预训练的转换器模型能够直接微调为基于脑电图的预测任务，并提出了 AdaCE 模块，用于将 EEG 数据转换成图像和文本形式以进行微调，取得了最先进的性能。
PDF9 months ago
将 ASR 基础模型用于口语评估的适应
本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。
PDF10 months ago
ACLKU-DMIS-MSRA 在 RadSum23 的应用：用于放射学报告摘要的预训练视觉语言模型
本文介绍 CheXOFA，这是一个新的预训练视觉语言模型，用于胸部 X 光域。该模型最初在普通领域的各种多模态数据集上进行预训练，然后迁移到胸部 X 光域。通过将各种特定于域的任务统一到简单的序列到序列模式中，使模型能够有效地从领域中有限的
PDF10 months ago
图像识别模型框架转换的故障定位
本文介绍了一种新的方法，旨在自动检测通过不同深度学习框架（如 TensorFlow 到 PyTorch）转换的预训练图像识别模型中的错误，并提出了一些修复策略
PDFa year ago
ACLmPMR: 规模化的多语言预训练机器阅读器
mPMR 是一种新颖的多语言机器阅读理解 (MRC) 预训练方法，旨在指导多语言预训练语言模型 (mPLM) 在多种语言中执行自然语言理解 (NLU)（包括序列分类和跨度提取）。mPMR 通过 MRC 样式的预训练，直接继承多语言 NLU
PDFa year ago
CodeGeeX: 一个基于预训练的多语言代码生成模型及其在 HumanEval-X 上的评价
本文介绍 CodeGeeX，一个具有 130 亿参数的多语言预训练代码生成模型。通过 extensive experiments，CodeGeeX 在 HumanEval-X 上表现出比其他类似规模的多语言代码模型更好的代码生成和转换性能。
PDFa year ago
WeLM: 为中文设计的阅读广泛的预训练语言模型
该研究论文讨论了使用自我监督学习进行预训练的大型语言模型，并提出了一种称为 WeLM 的中文预训练模型，它可以在零或者极少示范的情况下无缝执行不同类型的任务，并展示了它在多个领域和语言方面的广泛知识。 WeLM 在单语言（中文）任务中表现优
PDF2 years ago
NatGen: 自然化源代码的生成式预训练
本文提出了一种新的预训练目标 —— 源代码的自然化，在大规模的自然代码库中通过引入非自然代码形式的六类语义保持变换，来训练生成等效但更加自然的代码，进一步提升了自然代码的统计学习能力，实现了三种软件工程任务的生成，翻译和细化，达到了 Cod
PDF2 years ago
ANNA: 增强语言表达能力用于问答
本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的
PDF2 years ago
ECCVP-STMO: 预训练的时空多对一模型用于三维人体姿态估计
本文介绍了一种新颖的预训练空间时间多对一模型 (P-STMO)，用于 2D 到 3D 人体姿势估计任务。在第一阶段中，提出了一种自监督预训练子任务，称为遮盖姿态建模，以减少捕捉空间和时间信息的难度。在第二阶段中，加载预先训练的编码器到 ST
PDF2 years ago
COLING使用预训练置换检测模型作为少样本学习器
本文提出了一种使用预训练的 token-replaced 检测模型作为 few-shot 学习的替代方法，通过将分类或回归任务转化为 token-replaced 检测问题并利用自然语言提示来预测输入中最原始的标签描述词，对 16 个数据集
PDF2 years ago
COLD: 中文攻击性语言检测基准
该研究在探索中文领域下的垃圾语言检测，提出了一个基准和数据集并使用预训练语言模型进行分析，结果表明，该基准和数据集能有效提高中文垃圾语言的检测难度，同时也揭示了触发垃圾语言的关键词。
PDF2 years ago
BERTić -- 用于波斯尼亚语、克罗地亚语、黑山语和塞尔维亚语的 Transformer 语言模型
本文描述了一个在克罗地亚语、波斯尼亚语、塞尔维亚语和黑山语网络域爬取的 80 亿个令牌的 transformer 模型的预训练，并在词性标注、命名实体识别、地理位置预测和常识因果推理等任务上展示所有任务上的改进。此外，我们引入了 COPA-
PDF3 years ago
ACL基于词典的预训练词嵌入去偏差化
本研究提出了一种使用字典对预先训练的词嵌入进行去偏置的方法，该方法不需要访问原始的训练资源或了解所使用的词嵌入算法，并可以自动从字典定义中学习无偏置词嵌入所需满足的约束条件。实验结果表明，该方法可以准确消除预先训练的词嵌入中编码的不公平偏见
PDF3 years ago