transformer neural networks | BriefGPT

关键词transformer neural networks

搜索结果 - 21

大型语言模型中产生的有向度量结构
大型语言模型是基于 Transformer 的神经网络，通过训练来产生给定文本上可能的下一个词的概率分布，本文通过观察 - log 概率来定义了一个度量结构，并构建了一个度量多面体和一个保距嵌入，以使文本映射到特定的极端光线生成器，进一步证
PDFa month ago
自适应语义标记选择用于 AI 原生目标导向通信
我们提出了一种新颖的 AI 本地目标导向通信设计，利用变换器神经网络在带宽和计算的动态推理约束下。
PDF2 months ago
社交媒体应用顺序可预测：使用 LSTM 和 Transformer 神经网络建模习惯行为
通过对连续智能手机用户行为的预测建模，本文引入了一种研究社交媒体习惯的新方法。使用长短期记忆（LSTM）和变压器神经网络，我们展示了社交媒体使用在个人内部和个人之间是可预测的，同时在个体之间的预测差异也是稳健的。
PDF2 months ago
结构健康监测的基础模型
使用 Transformer 神经网络和自监督预训练技术进行结构健康监测，超过传统方法在异常检测和交通负荷估计等任务上的性能，并通过模型大小和精确度的权衡实现在边缘节点嵌入较小的 Transformers。
PDF3 months ago
智能学习速率分配以减少转换器中的灾难性遗忘
在这篇论文中，我们研究了 transformer 神经网络中灾难性遗忘的问题，并对使用相同学习率进行整个网络微调的普遍做法提出疑问。我们通过超参数优化过程找到了比平坦学习率更好的学习率分布，并结合这些学习率分布，展示了它们在灾难性遗忘问题上
PDF3 months ago
位置编码帮助递归神经网络处理大词汇量
该研究讨论位置编码对递归神经网络（RNN）的影响，利用合成基准测试。位置编码在时间序列中 “时间戳” 数据点，并且补充了 Transformer 神经网络的能力，因为其缺乏表示数据顺序的内在机制。与此相反，RNN 可以自行对数据点进行时间信
PDF5 months ago
对比学习和专家混合使得向量嵌入更精确
我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著
PDF5 months ago
多模态任务的动态 Transformer 架构
我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。
PDF5 months ago
MM自动内容分析的少样本学习：对乌克兰军火交付辩论中论点和主张的高效编码
使用多语言 Transformer 模型和适配器扩展加上少样本学习方法的组合，成功地在沟通科学领域的实际案例中实现了通过自动检测声明和论据并确定其立场来改善包括复杂语义类别编码在大数据集上的自动内容分析，提供了与完全微调 PLMs 相媲美的
PDF6 months ago
学习参数化哈密顿系统的结构保持变压器
使用基于 Transformer 的神经网络来学习复杂的非线性动态系统，并为其赋予保持结构的特性以提高长期稳定性的工作，在实际应用中被证明非常重要。
PDF7 months ago
变压器中新出现的情境学习的瞬时性质
transformer 神经网络虽然没有明确训练用于上下文学习，但其仍具备令人惊讶的上下文学习能力。然而，研究发现 ICL 在训练过程中常常是短暂的，且 ICL 和 in-weights learning 之间存在竞争关系，使用 L2 正则
PDF8 months ago
基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计
使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。
PDF8 months ago
TranDRL: 基于 Transformer 的深度强化学习驱动的预防性维护框架
基于变压器神经网络和深度强化学习算法的集成框架，通过有效捕捉传感器数据中的复杂时间模式来准确预测设备的剩余寿命，并提供成本效益和及时的维护建议，从而为产业运营中存在的关键挑战提供创新的数据驱动方法，实现更高效、更经济、更可靠的系统。
PDF9 months ago
易用注意力：Transformer 模型的简易自注意机制
提出一种名为 easy attention 的新型注意机制，用于改进用于预测混沌系统时间动态的 Transformer 神经网络，通过自注意力机制直接将注意力得分作为可学习参数，具有更强的鲁棒性和较低的复杂性，适用于重建和预测混沌系统的时间
PDF10 months ago
优化 Transformer 推理技术综述
本文综述了技术优化变压器网络推断的技术，包括知识蒸馏，修剪，量化，神经架构搜索和轻量级网络设计，以及硬件级优化技术和设计新型硬件加速器，可帮助读者权衡参数 / FLOP 数量和准确性之间的关系。
PDFa year ago
利用 Transformer 神经网络同时考虑序列和结构进行蛋白质预测任务
本研究通过转换神经网络来实现蛋白质序列与三级结构的联合表示，进而提高了与功能相关的预测任务的表现，包括超家族成员预测。
PDF2 years ago
基于 Transformer 神经网络的公平分类：教育领域案例研究
本论文旨在研究机器学习模型在教育领域的应用中可能存在的偏见以及公平性问题，并通过对转换神经网络模型在两个表格数据集中的应用实践，展示了公平性和分类性能之间的权衡关系。
PDF2 years ago
基于 Transformer 架构的旋转机械故障诊断深度神经网络 T4PdM
本篇论文利用 Transformer 神经网络提出了一个 T4PdM 故障自动分类器模型，以提高机械故障分析和诊断过程的性能，并比较了该模型与其他之前发表作品的表现，结果表明此模型在检测和分类旋转式工业机械故障方面具有优越性。
PDF2 years ago
使用连续的增强位置嵌入编码相对位置的 CAPE
这篇论文提出了一种增强型绝对位置嵌入 (CAPE) 的方法，使得 Transformer 神经网络在保持绝对位置嵌入简单和快速的同时，能够更好地推广到训练时未曾出现的更长序列，并在机器翻译等领域中获得更好的性能。
PDF3 years ago
使用基于 KNN 的复合记忆增强对话的 Transformer
本研究旨在利用机器学习方法，通过增加 KNN-Based Information Fetching (KIF) 模块，将外部知识进行存储，并将其应用在 Dialog Modeling 中，以此提高自动和人类评估的模型性能。
PDF4 years ago