encoder models | BriefGPT - AI 论文速递

关键词encoder models

搜索结果 - 7

编码器与解码器：对多语言 NLU 任务上编码器和解码器语言模型的比较分析
本研究探讨了编码器和解码器语言模型在多语言自然语言理解任务中的性能，重点关注日耳曼语系。通过扩展 ScandEval 基准评估框架来包括解码器模型，我们介绍了一种评估解码器模型在自然语言理解任务上的方法，并对丹麦语、瑞典语、挪威语、冰岛语、
PDF17 days ago
对 SwissBERT 编码模型进行微调，用于嵌入句子和文档
对句子或短文档进行嵌入式编码的编码器模型，用于语义搜索和主题建模。本文介绍了一种专门为此目的微调的 SwissBERT 编码器模型版本，采用对瑞士四种国家语言（德语、法语、意大利语和罗曼什语）进行了预训练，使用对应文章子集的对比学习进行微调
PDF2 months ago
能否通过对比学习改进嵌入
使用 SIMSKIP，一种新颖的对比学习框架，通过改善输入嵌入来提高后续任务的性能。SIMSKIP 利用之前训练过的编码器模型的输出嵌入作为输入，通过理论分析证明其不会导致下游任务错误的上限增加。在不同的开放数据集上的实验证明 SIMSKI
PDF3 months ago
语言模型的减肥计划：通过额外预训练进行相关语言编码器的成本高效开发
我们研究了利用现有的多语言模型进行额外预训练，以确保在克罗地亚语、塞尔维亚语、波斯尼亚语和黑山语这几种密切相关的语言集合中存在具有 10 亿参数的编码器模型的最佳方法，结果显示即使计算量有限，额外预训练可获得与从头开发的模型相当的性能，同时
PDF3 months ago
编码器 LLMs 骨干的定向可视化
基于注意力机制的大型语言模型（LLMs）是自然语言处理（NLP）领域中的最先进技术。本文聚焦于编码器（如 BERT）模型，研究其在可解释人工智能方面的风险和对抗性攻击，并探索在 NLP 领域中应用 DeepView 的可行性。
PDF3 months ago
促进葡萄牙语开放神经编码器生态系统与 Albertina PT * 系列的发展
为了促进葡萄牙语的神经编码，本论文提出了一些基础的编码器模型，这些模型是为这种语言开发的大型语言模型稀缺的生态系统的扩展，而且都是免费开放的，可以用于任何目的，包括研究和商业用途。此外，我们还获得了对其生态系统有意义的进一步结果，即基于 S
PDF4 months ago
LLM 能否识别有毒性？结构化毒性调查框架与基于语义的度量
我们提出了一种基于大型语言模型的自动鲁棒度量方法，用于判断生成文本是否具有毒性，这种方法在衡量毒性方面表现出色，在 F1 分数上比最先进的度量方法提高了 12 个百分点，同时表明上游毒性对下游度量方法有影响。
PDF5 months ago