transformer networks | BriefGPT

关键词transformer networks

搜索结果 - 65

GROD：利用外部分布检测增强 Transformer 的泛化性能
基于 OOD 检测的 Generate Rounded OOD Data (GROD) 算法通过惩罚 OOD 数据的错误分类和生成合成异常值来增强 Transformer 网络在各种任务上的泛化性能，并在不同数据类型的 NLP 和 CV 中
PDF21 days ago
面部伪造检测的带注意力调制的 RetNet
通过引入轻量级的网络 BAR-Net，本研究解决了 transformer 网络在平衡全局上下文获取与计算复杂度之间的挑战，提高了人脸伪造检测的性能。
PDF3 months ago
在低功耗 MCU 上优化微型 Transformer 的部署
本研究提出了一种在商业微控制器上对 Transformer 模型进行端到端部署的优化框架，通过优化库和新的推理调度方案，在多个 MCU 平台上实现了更低的延迟和能量消耗。
PDF3 months ago
利用 Transformer 增强物联网应用中的自动调制识别
利用 Transformer 网络为物联网应用中的自动调制识别提出了一种高效的方法，优于传统深度学习技术，实现了最高的识别准确度。
PDF4 months ago
分布式基础架构下的模型并行性研究：从理论到 LLM 案例研究
神经网络的主题和研究领域涉及神经网络、模型并行性、操作符图、实施挑战和变压器网络。
PDF4 months ago
蟒蛇是否能学会学习？一项关于上下文学习任务的比较研究
使用混合模型能够增强在语言模型中的上下文学习能力，这项研究对几种模型进行了比较，发现混合模型可以在某些任务中克服各个模型独立处理时的局限性。
PDF5 months ago
循环变压器仿真图算法
我们研究了使用转换器网络在图上模拟算法的能力，并证明了该架构可以模拟 Dijkstra 最短路径算法、广度优先搜索、深度优先搜索和 Kosaraju 强连通分量算法，并展示了在有限精度下模拟的限制问题，最后证明了在额外的注意力头部利用时具有
PDF5 months ago
Transformer 与大脑皮层波：跨时间上下文编码器
将完整的输入序列转换为长的 “编码向量”，通过计算输入序列中单词对之间的关联，增强转换器中的时间上下文，而类似的编码原则可以通过神经活动在大脑皮层区域内或整个大脑尺度上传播的波动实现。
PDF5 months ago
梯度下降学习的超参数化 Transformer 分类器的收敛速度
通过研究基于生成性预测变压器的语言模型 ChatGPT，本文综合考虑模型逼近能力、泛化能力和基于具体数据集的优化，给出了对变压器网络在误分类概率上限的理论界限，并以自然语言分类问题为背景进行探讨。
PDF6 months ago
多分辨率音视频特征融合用于时序动作定位
多分辨率音视频特征融合（MRAV-FF）是一种创新的方法，通过层级化门控交叉注意机制将不同时间分辨率的音视频数据合并，以提高时域动作定位任务的性能。
PDF9 months ago
PCGPT：基于 Transformer 的程序化内容生成
本篇论文介绍了一种创新方法，PCGPT 框架，该方法利用离线强化学习和 Transformer 网络进行程序化内容生成（PCG）。PCGPT 利用基于 Transformer 的自回归模型迭代生成游戏关卡，解决了传统 PCG 方法中重复、可
PDF9 months ago
IBAFormer：用于领域通用的语义分割的批内注意力变换器
通过在 Transformer 网络中增强注意力模块，结合同一批次的其他独立样本信息以提高域广义语义分割（DGSS）的性能，我们的提出的 IBAFormer 方法在 DGSS 中取得了最先进的性能，消融研究进一步证实了每个引入组件的有效性。
PDF10 months ago
MB-TaylorFormer：基于 Taylor 公式扩展的多分支高效 Transformer 用于图像去雾
近年来，Transformer 网络开始取代纯卷积神经网络在计算机视觉领域的应用，但是其二次计算复杂度的 softmax-attention 限制了高分辨率图像去雾任务的广泛应用。因此，我们提出了一种新的 Transformer 变体，应用
PDF10 months ago
ICCV多视角三维重建的长程分组变换器
基于 Transformer 的多视角三维重建算法中，引入长距离分组注意力机制（LGA）以处理来自不同视角的复杂图像令牌，从而提高模型学习效果，并通过进阶上采样解码器实现相对高分辨率的体素生成，实验结果验证了该方法在多视角重建中达到了 SO
PDFa year ago
针对量化 Transformer 的高能效注意力和 Softmax 加速器
该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Tran
PDFa year ago
基于差分特征引导 DDPM 的变化检测图生成的变化传播
本研究提出了基于 DDPM 的 change-aware diffusion model (CADM) 模型，使用有限的标注数据快速训练，采用动态差分条件编码来增强 bitemporal change detection 任务中的区域注意力
PDFa year ago
高分辨率遥感图像变化检测的轻量级结构感知 Transformer 网络
为了解决 Transformer 网络在遥感图片变化检测中可能存在的问题，本文提出了一种轻量级结构感知 Transformer（LSAT）网络，有效地提高了 RS 图片 CD 的特征表达能力，并在各种 VHR RS 图片 CD 方法中实现了
PDFa year ago
基于无穷维度输入的序列到序列函数的转换器逼近与估计能力
本文研究了 Transformer 网络作为具有无限维输入的序列到序列函数的逼近和估计能力，证明了当目标函数具有各向异性平滑性时，Transformer 可以通过其特征提取能力和参数共享属性避免维数爆炸，并证明了在输入发生变化时 Trans
PDFa year ago
利用大规模神经影像数据集创建连接组约束方法，以实现更加稳健、高效和适应性人工智能
利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。
PDFa year ago
使用不同结构和训练方法探索基于能量的语言模型在语音识别中的应用
本篇论文研究基于能量的语言模型在语音识别中的应用，使用现代化的 Transformer 网络和预训练模型 BERT 和 GPT2 对模型进行改进和调整，并探究不同的能量函数构架和训练方法。
PDFa year ago