Home » Series
All series

Reading path

Sequence Modeling

4 articles in this series

  1. 01

    RNN

    Transformer 是基于全局视角处理序列的，它通过 Self-Attention 一次性让所有 token 互相交互。而 RNN（Recurrent Neural Network，循环神经网络）的本质是基于时间步的顺序迭代。 如果把 Transformer 比作同时看到整段句子的“上帝视 …

    2 min
  2. 02

    LSTM

    Vanilla RNN 的缺陷：为什么我们需要 LSTM？ 在上一篇中我们提到，RNN 的核心公式是 $h_t = \tanh(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$。这种设计在处理长序列时会遇到两个工程上的致命问题： 梯度消失与梯度爆 …

    3 min
  3. 03

    Mamba

    要理解 Mamba，我们需要将思维从 Transformer 的“全局注意力”切回到 RNN 的“时序状态机”，但这次，我们要解决 Vanilla RNN 和 LSTM 共同的工程死穴：训练阶段无法并行。 Mamba 的核心目标非常明确：既要拥有 Transformer 级别的高效并行训练能力，又要 …

    10 min
  4. 04

    Linear Attention

    linear_attention 是把 Mamba2 的 gating 机制 和 DeltaNet 的 delta rule 结合起来形成的新结构 先简单分析一下 线性注意力是什么 Overview 从 Transformer 视角 标准 causal self-attention 的一层，大致是： …

    4 min