transformer-based neural networks | BriefGPT

关键词transformer-based neural networks

搜索结果 - 6

应用表格转换器挑战 Booking.com 诈骗检测中的梯度提升决策树
使用 SSL 技术的基于 Transformer 的神经网络在欺诈检测任务中超越 GBDT 算法，在大规模实验中，预训练的 Transformer 模型在有限的微调数据上表现更加一致且需要较少的标记数据。
PDFa month ago
可组合功能保持扩展的 Transformer 架构
通过逐步增加转换器神经网络的大小，以保留功能，并在最小初始化约束下提供确切的功能保留证明，本研究提出六种组合的转换方法，可能通过逐步扩展架构来实现更大、更强大的模型的高效训练管道。
PDFa year ago
使用视觉 Transformer 对乳腺 MRI 中的纤维腺样组织进行分割 —— 多机构评估
该研究开发了一种基于 Transformer 的神经网络 TraBS 用于乳腺 MRI 图像的纤维腺细胞组织分割，相比于传统的卷积神经网络 nnUNet，TraBS 的表现更好，这有助于提高乳腺 MRI 筛查中乳腺密度和背景实质增强的精度。
PDFa year ago
通过四个实验探针理解基于 Transformer 的语言表示模型中的先验偏差和选择瘫痪
本文研究了基于 transformer 的神经网络在自然语言理解方面的多项选择问题，主要针对先验偏差和选择麻烦等问题做了四项混淆测试，并表明该模型在应对这些问题时表现出明显的偏差和选择麻烦，建议需要进一步增强测试协议和基准测试以确保语言模型
PDF2 years ago
高效稀疏激活变压器
本文研究了在基于 Transformer 的神经网络中引入混合专家 (MoE) 层以优化推理延迟，并提出了一个名为 PLANER 的系统，能够在保持基准准确性的同时实现推理延迟的优化，实验结果表明，这种方法能够在两个真实的语言建模任务中实现
PDF2 years ago
ACL从修订中学习：大规模论证中主张质量评估
本文提出一种计算论证的质量评估方法，通过比较同一主张的不同版本来评定其质量，证明能够有效泛化于不同主题之间。该方法基于大规模样本库及嵌入式逻辑回归和基于 Transformer 的神经网络，并提供数据和脚本以复现结果。
PDF3 years ago