Jun, 2023

迭代分段仿射逼近（IPA）用于语言建模

PDF
TL;DR本研究利用一阶泰勒展开对一般函数进行近似，引入迭代和分段建模提出了 IPA 算法并应用于语言建模，通过与 Transformers 进行比较，将 IPA 算法在小的序列长度下的交叉熵损失的下一个标记预测任务中表现出了与 Transformers 架构惊人的相似性，IPA 算法的表现优于 Transformers 1.5%。
taylor expansionlanguage modelingiterationpiecewise modelingnext token prediction
发现论文，激发创造
  • 基于推理时间的策略适配器（IPA）：无需微调个性化极限规模的语言模型

    该研究提出了一种名为 IPA 的推理时间策略适配器，可以通过强化学习的方式有效地引导大型语言模型进行解码，以优化任意用户目标，在文本生成等任务上取得了显著的改进。

    May, 2023

  • 通过分段仿射运算实现硬件高效的 Transformer 训练

    通过使用廉价的分段仿射逼近方法来代替浮点数乘法并将所有网络非线性替换为分段仿射函数，以实现现代神经网络完全无乘法训练的第一次成功，并展示了对于 transformer 在语言和视觉任务上的性能影响很少的结果修正矩阵乘法训练。

    May, 2023

  • IPA：推理管道的适应性优化以达到高精度和成本效益

    通过使用深度学习模型的不同版本来动态配置批处理大小、复制和模型变体，IPA 系统可以有效地优化准确性、降低成本并满足用户定义的延迟要求。实验结果显示，IPA 可以提高规范化准确性达到 35%，而成本只增加不到 5%。

    Aug, 2023

  • 局部序列转导的并行迭代编辑模型

    本文提出一种并行迭代编辑（PIE）模型来解决本地序列转导问题，该模型在很多任务中都表现出竞争力，并且相比于流行的编码器解码器模型，PIE 模型在保持准确性的同时速度更快，其原因主要有：预测编辑而不是令牌，标记序列而不是生成序列，迭代地优化预测以捕获依赖关系，并且将日志分解为编辑和其令牌参数，以利用预先训练的语言模型，例如 BERT。

    Oct, 2019

  • 用于解决线性约束光滑非凸组合优化问题的不精确近端加速增广 Lagrangian 方法的迭代复杂度

    本文提出和建立了一种非精确的近端加速增广 Lagrange (IPAAL) 方法，用于解决线性约束平滑非凸复合优化问题的迭代复杂度，并证明了 IPAAL 方法在大多数 ACG 迭代中产生一个近似稳定解决方案。

    Jun, 2020

  • 迭代式拟标记在语音识别中的应用

    本文研究了伪标记技术在半监督自动语音识别中的应用，提出了一种名为 Iterative Pseudo-Labeling（IPL）的算法，通过迭代伪标记技术并利用无标注数据，可以在标准和低资源环境下实现最佳单词错误率，此外，研究表明对不同文本语料库进行训练的语言模型对于提高 ASR 的效果非常有效，最后我们公开了一个新的大规模行业内文本语料库以促进低资源半监督 ASR 的研究。

    May, 2020

  • IAPT：面向大型语言模型的指令感知提示调整

    我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。

    May, 2024

  • SlimIPL：无需语言模型的迭代伪标记

    提出了一种无需语言模型的增强迭代伪标记算法（Language-Model-Free IPL，slimIPL），该算法适用于低资源设置和以 CTC 为基础的模型，其中包括一个动态缓存来降低与超参数相关的假标签的敏感性。通过只需要 10 小时的标记音频，这种算法在自我监督方法中具有竞争力，并且在无需语言模型的情况下成为有标记音频的最新技术。

    Oct, 2020

  • 通过整数规划对温顺函数进行分段多项式回归

    我们考虑估计属于一类非光滑函数（称为 tame 函数）的函数的任务。我们展示了 tame 函数可以通过分段多项式在任何全维度立方体上进行逼近，并且提出了首个混合整数规划形式的分段多项式回归。这些方法可以用于估计 tame 函数，并展示了有希望的计算结果。

    Nov, 2023

  • 使用分段线性估计器解决反问题：从高斯混合模型到结构稀疏

    本文提出了基于高斯混合模型的通用图像反问题求解框架，并描述了一种具有结构稀疏估计的框架的双重数学解释，该解释表明所得到的分段线性估计在稳定估计当与传统稀疏反问题技术相比，同时还建议了一种有效的基于词典的初始化方法，该算法在图像修复、放大和去模糊等多个图像反问题中，产生的结果要么相等，要么比最佳结果好得多，要么仅略微差强人意，并且计算成本更低。

    Jun, 2010