共计 28 篇文章

---

2025

01-13

nvidia gpu结构简介和cuda编程入门

01-04

pytorch各种乘法，mm, matmul, dot, @, *, mul, multiply

2024

10-29

激活函数和GLU

09-29

优化器：从SGD到Adam到AdamW

09-03

似然(likelihood)和NLLLoss

07-17

deepspeed训练模型提示：cpu_adam.so: cannot open shared object file: No such file or directory

06-24

线性代数知识回顾

06-18

pytorch分布式训练注意事项/踩坑总结 - 持续更新

05-15

pytorch调试时CUDA报错，如何精确定位

03-25

浅谈位置编码（RoPE）