hyena | BriefGPT - AI 论文速递

关键词hyena

搜索结果 - 6

HyenaPixel：基于卷积的全局图像上下文
使用基于卷积的 Hyena 注意力替代方法，在图像分类中实现竞争力的 ImageNet-1k top-1 准确率，同时超过其他大核网络，并结合注意力进一步提高准确性。
PDF4 months ago
COLING鬣狗如何处理人类语音？使用 ConfHyena 进行语音识别和翻译
借鉴 Hyena 模型进行改进，我们提出了 ConfHyena 模型，以减少长序列语音处理的计算时间并保持较高的质量表现。在英语的自动语音识别和从英语到 8 种目标语言的翻译实验中，我们的 ConfHyena 模型在训练时间上节约了 27％
PDF4 months ago
豪笑鬣狗酿酒厂：从卷积中提取紧凑的重现
通过提取低维线性状态空间模型以及改进卷积层的结构，本文实现了每个标记的 O (1) 计算和内存开销，从而降低内存占用并提高生成过程的吞吐量，而无需牺牲质量。
PDF8 months ago
HNO: 用于解决偏微分方程的鬣狗神经算子
该研究利用一种新型神经算子 Hyena，通过深度学习解决偏微分方程问题，实验结果表明，该算子能够有效地学习和预测偏微分方程的解。
PDFa year ago
鬣狗等级制度：朝着更大的卷积语言模型
本文介绍了 Hyena，一种亚二次的 attention 替代方法，它通过交错的启发式参数化长卷积和数据控制开关的方式进行构建，能够有效地解决 Transformers 中 quadratic cost 的问题，并且在大规模自然语言处理任务
PDFa year ago
短期电力需求预测的混合模型
HYENA 是一种混合预测模型，结合了特征工程、移动窗口预测器和 LSTM 编码器解码器，用于准确预测英国电力市场的负荷与价格，相较于以往模型可以减少 16% 的 MAPE 损失和 10% 的 RMSE 损失。
PDF2 years ago