transformer architectures | BriefGPT

关键词transformer architectures

搜索结果 - 101

大型語言模型增強的知識表示學習：一項調查
大语言模型（LLMs）与知识表示学习（KRL）的整合标志着人工智能领域的重要进展，增强了捕捉和利用复杂知识结构的能力，这种协同作用利用了 LLMs 的高级语言和语境理解能力，提高了 KRL 的准确性、适应性和有效性，从而扩大了其应用和潜力。
PDF3 days ago
使用 Transformer 神经过程的上下文学习
神经过程（NPs）是一类强大的元学习模型，旨在逼近元数据集中每个数据集从中抽样得到的地面真实随机过程的后验预测映射。我们在 NP 中增加了集成其他类似数据集的功能，描述了此范例作为上下文中的上下文学习。标准的 NP 架构（如卷积条件 NP（
PDF15 days ago
面向 BIM 创作工具的命令推荐系统的研究
该研究探索了序贯推荐系统在加速 BIM 建模过程中的潜力，通过将 BIM 软件命令视为可推荐项目，引入了一种新颖的端到端方法，根据用户的历史交互预测下一个最佳命令，结果是在 BIM 创作工具 Vectorworks 中提供实时的命令建议。后
PDFa month ago
卷积神经网络、ResNet 和视觉 Transformer 在胸部疾病多分类中的比较研究
使用大规模语言模型和 Transformer 架构，基于 ViT 模型，在多标签分类任务中对胸部 X 射线图像进行准确的肺部疾病诊断。
PDFa month ago
基于标记合并的转换器和状态空间模型的高效时间序列处理
在时间序列分析中，我们首次探讨了令牌合并在时间序列变换器和状态空间模型中的应用，通过引入局部合并算法，我们能够在长序列上有效实现令牌合并，从而在多个模型和数据集上获得显著的计算效益而对准确性影响最小。
PDFa month ago
基于 Transformer 的联合学习用于多标签遥感影像分类
通过研究最先进的转换器架构（即 MLP-Mixer、ConvMixer、PoolFormer）在非独立和非同分布的训练数据上实现联合学习，针对遥感中的多标签分类问题，在不同非独立和非同分布程度下，比较了这些转换器架构在训练数据异质性、局部训
PDFa month ago
Dinomaly: 多类别无监督异常检测中的简洁至上哲学
我们引入了一种名为 Dinomaly 的极简重建异常检测框架，该框架利用纯 Transformer 体系结构而不依赖于复杂设计、附加模块或专门技巧，通过在多类异常检测中提取通用和区分特征的 Foundation Transformers、使
PDFa month ago
Segformer++: 高分辨率语义分割的高效令牌合并策略
利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令
PDFa month ago
大型时间序列模型的尺度定律
基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量
PDFa month ago
基于离散余弦变换的去相关注意力视觉转换
Transformer 架构的关键是自注意机制，本文提出两种方法，一种是利用 DCT 系数进行初始化来增强辨别能力，另一种是基于 DCT 的压缩技术来减少计算开销。
PDFa month ago
大型语言模型作为虚拟导师的使用综述
利用 Transformer 架构的大型语言模型在教育领域引起了广泛关注，主要应用包括生成和评估教育材料、自动问题生成等，其中 GTP-3 和 BERT 是最受欢迎的模型。
PDFa month ago
HAFFormer：面向自由语音的阿尔茨海默病检测的分层无注意力框架
构建了一个名为 HAFFormer 的新型框架，通过使用多尺度深度卷积的无注意模块替代自注意力，以及使用 GELU-based 门控线性单元替代前馈层，从而在 AD 检测中更好地处理长时间语音，提高了计算效率和模型的减小比率。
PDF2 months ago
ICLR探索带有嘈杂标签的上下文学习的稳健性
Transformer 模型在 In-Context Learning 方面表现出对标签噪声的鲁棒性，噪声的引入可以提高其鲁棒性，为自然语言处理中的 Transformer 研究提供了重要的见解。
PDF2 months ago
儿童在人机交互中的语音识别：问题解决了吗？
自动语音识别在成人英语语音方面显示出超人的表现，但在儿童语音方面表现不佳。最新的数据驱动语音识别技术包括 Transformer 架构和前所未有的训练数据量，可能会为儿童语音识别和面向儿童的社交机器人应用带来突破。我们重新审视了 2017
PDF2 months ago
基准化高级文本匿名化方法：关于新颖和传统方法的比较研究
本研究通过对比分析使用转换器模型和大型语言模型 (LLM) 与传统架构进行文本匿名化任务的性能，评估了几种模型的表现，并展示了每种方法的优点和缺点，为研究人员选择最合适的模型提供了明确的视角。
PDF2 months ago
SmartMem: 移动设备上高效执行 DNN 的布局变换消除和适应性
这篇论文介绍了 SmartMem，一个综合的框架，通过智能选择布局和实施操作，消除了大多数布局变换，并开发出适用于移动设备常见的 2.5 维内存的高效内存布局。实验结果表明，SmartMem 在 18 个不同神经网络上的移动设备上性能优于
PDF2 months ago
HEAT: 头部层级参数高效调整视觉 Transformer 并利用泰勒展开法的重要性评分
使用 Head-level Efficient Adaptation with Taylor-expansion importance score (HEAT) 方法，通过计算每个头部的重要性得分来高效微调视觉转换器（ViTs），这种方法在
PDF3 months ago
LHU-Net：一种用于高效、高性能体积型医学图像分割的轻型混合 U-Net
通过结合 Transformer 架构与卷积神经网络（CNNs）的优势，提出一种优化的体积型医学图像分割网络 LHU-Net，旨在在初期层次优先进行空间特征分析，然后转向更深层次的基于通道的特征，从而全面提取特征，取得了具有高效性和准确性的
PDF3 months ago
提升物联网智能性：基于 Transformer 的强化学习方法
通过将 transformer 架构与 Proximal Policy Optimization（PPO）相结合，本文引入了一种新颖的框架来解决物联网应用中复杂环境下智能决策中的挑战，通过利用 transformer 的自注意机制，增强了强
PDF3 months ago
大型语言模型的概念与实施调查
基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动
PDF3 months ago