transformer-based architectures | BriefGPT

关键词transformer-based architectures

搜索结果 - 70

COLINGNLPre：一个对自然语言预处理系统进行以语言为中心的基准测试的修订方法
使用基于 Transformer 的架构，通过提出的基于语言的基准系统，对多种自然语言预处理工具进行综合评估和性能追踪，旨在解决现有评估方法的不足和公平性问题。
PDF4 months ago
CVPR基于原型的高效 MaskFormer 图像分割方法
最近基于 Transformer 的架构在图像分割领域取得了令人印象深刻的成果。为了填补传统架构在计算资源上的限制，本文提出了一种高效的基于原型的 Transformer 架构 (PEM)，它利用视觉特征的冗余性来限制计算并提高效率，同时引
PDF4 months ago
利用敏锐感知最小化和通道关注解锁 Transformers 在时间序列预测中的潜力
通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结
PDF5 months ago
表格数据：关注力是您所需的全部吗？
通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。
PDF5 months ago
CrisisViT：一种适用于危机图像分类的稳健视觉 Transformer
利用最新的深度神经模型，通过将基于 Transformer 的架构应用于危机图像分类（CrisisViT），以解决利用社交媒体的公民新闻来帮助危机响应的问题，并通过实验证明，CrisisViT 模型在紧急类型、图像相关性、人道主义类别和损害
PDF6 months ago
自监督变形器中抽象表征的形成与功能
通过研究小规模 transformer 在重建部分遮蔽的简单蓝图可视场景方面的内在机制，我们发现网络发展了一种包含数据集的所有语义特征的中间抽象表示或抽象，这些抽象表现为低维流形，其中语义相关令牌的嵌入短暂地收敛，从而实现了对下游计算的泛化
PDF7 months ago
GroupMixer：基于补丁的组卷积神经网络在组织病理图像中的乳腺癌检测
通过将完全卷积神经网络架构与补丁嵌入操作相结合，我们提出了一种高效的用于乳腺癌恶性检测的 CNN 架构，尽管参数数量显著小于其他方法，但在 40x，100x，200x 和 400x 放大倍数下的精度性能指标分别达到 97.65％，98.92
PDF8 months ago
HyPE：带有双曲偏差的相对位置编码的注意力
通过引入超几何位置编码（HyPE），本研究提出一种新颖方法，利用超几何函数的特性来编码令牌的相对位置，以实现对令牌顺序的约束。该方法通过初步的连接操作和矩阵乘法实现相对距离的编码，间接地将偏置引入到 softmax 计算中，从而确保了与 F
PDF8 months ago
可解释性与可解释性在社交媒体抑郁检测中的应用
使用基于 Transformer 的架构来检测和解释用户写作中抑郁症状标记的出现，并生成可解释的基于症状的解释。
PDF8 months ago
VST++：高效且更强力的视觉显著性 Transformer
我们提出了一种名为 VST++ 的有效且强大的模型，以更低的计算成本实现了比现有方法更好的性能，同时突出了其潜力。
PDF9 months ago
仅使用基于注意力的神经网络进行图像压缩
本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，
PDF9 months ago
BanglaNLP 在 BLP-2023 任务 1 中：对孟加拉语中激发暴力的文本检测进行不同的 Transformer 模型评估
本研究通过开发系统解决孟加拉暴力煽动文本检测的共享任务，探讨了我们所采用的传统和最新方法，该系统有助于分类给定文本是否包含威胁。实验研究了在有限数据集情况下数据增强的影响，定量结果表明，与其他基于变压器结构的模型相比，微调多语言 - e5
PDF9 months ago
BanglaNLP 参与 BLP-2023 任务 2：对孟加拉社交媒体帖子的情感分析进行不同 Transformer 模型的基准测试
这篇论文使用基于 Transformer 的架构进行情感分析，以解决 Bangla 这种低资源语言的问题，并通过细调模型在推特数据上获得最佳性能。同时，还进行了详细的错误分析。
PDF9 months ago
面向对话助手的基于实践的复杂任务分割
通过将结构化说明转化为对话结构的形式，研究使用基于 Transformer 的架构模拟对话步骤，并通过用户研究证明了该方法对网页说明文本的改进
PDF9 months ago
通过推理监督实现可解释的视觉问答
我们提出了一种新的视觉问答架构，通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足，并通过相似性损失将模型的视觉注意力引导到场景的重要元素，从而提高模型的视觉感知能力和性能。
PDF10 months ago
ICCV借助过去的一点点帮助：用于图像字幕的原型记忆网络
本文介绍了一种通过原型记忆模型，在处理其他训练样本时，可以执行对激活进行注意力操作的网络，并通过 COCO 数据集上的实验进行了评估。
PDF10 months ago
利用生活事件序列预测人的生活
利用机器学习等技术，将人类生活事件序列嵌入到一个单一的向量空间中，以预测包括早亡和人格特质在内的多种结果，从而为个性化干预提供了潜在机制。
PDFa year ago
提示调整的普适性和限制性
研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers
PDFa year ago
基于 Transformer 模型的单目视觉里程计：一种视频理解方法
利用基于自注意力机制的 TSformer-VO 模型，将单目视觉里程计作为视频理解任务，从视频片段中提取特征并通过端到端的方式估计摄像机的 6-DoF 位姿，取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。
PDFa year ago
DIAMANT: 双视图注意力映射编码器用于医学图像分割
本文提出了一种简单的纯卷积神经网络模型，通过从预训练 DINO 模型的多个注意力头中获得的注意力图可视化来提高医学图像分割的性能，并超过了 U-Net 和现有的医学图像分割模型。
PDFa year ago