Recent posts
- /1362026-03-16
[Sequence Modeling 04] Linear Attention
从 Transformer 和线性 attention 两个视角,看 DeltaNet 的 delta rule 与 Mamba2 的 gating 如何组合成 Gated DeltaNet,并给出单头递推实现。
- /1352026-01-15
PyTorch Notes
PyTorch 常用张量操作(高级索引、einsum、scatter、gather 等)、monkey patching,以及从前向传播、DataLoader 到训练循环和模型保存的基础流程。
- /1342026-01-07
Triton Notes: Tutorials and Kernel Paradigms
GPU 内存层级与 SM、warp 结构,CUDA 与 Triton 编程模型的区别,官方 tutorial 中 vector add、fused softmax、matmul 的实现要点,以及 GEMM 与 GEMV 的 kernel 划分方式。
- /1332025-10-04
Sync Dot Files with Chezmoi
- /1322025-08-08
Git Essentials
- /1312025-08-06
VS Code Essentials
- /1302025-05-26
NumPy Notes
- /1292025-05-20
Build a Large Language Model (From Scratch) Reading Note
- /1282025-05-19
Useful Websites and Extensions
- /1272025-04-23
Common Golang Mistakes