1. /136
    2026-03-16

    [Sequence Modeling 04] Linear Attention

    从 Transformer 和线性 attention 两个视角,看 DeltaNet 的 delta rule 与 Mamba2 的 gating 如何组合成 Gated DeltaNet,并给出单头递推实现。

  2. /135
    2026-01-15

    PyTorch Notes

    PyTorch 常用张量操作(高级索引、einsum、scatter、gather 等)、monkey patching,以及从前向传播、DataLoader 到训练循环和模型保存的基础流程。

    PyTorch
  3. /134
    2026-01-07

    Triton Notes: Tutorials and Kernel Paradigms

    GPU 内存层级与 SM、warp 结构,CUDA 与 Triton 编程模型的区别,官方 tutorial 中 vector add、fused softmax、matmul 的实现要点,以及 GEMM 与 GEMV 的 kernel 划分方式。

    GPUTriton
  4. /133
    2025-10-04

    Sync Dot Files with Chezmoi

    Dev
  5. /132
    2025-08-08

    Git Essentials

    Dev
  6. /131
    2025-08-06

    VS Code Essentials

    Dev
  7. /130
    2025-05-26

    NumPy Notes

    Dev
  8. /129
    2025-05-20

    Build a Large Language Model (From Scratch) Reading Note

    Reading Note
  9. /128
    2025-05-19

    Useful Websites and Extensions

    Dev
  10. /127
    2025-04-23

    Common Golang Mistakes

    Dev