最新更新¶
按发布日期倒序排列。选择具体条目后会直接进入文章。
PyTorch 训练底层与 CausalLM 手撕
从 Tensor、计算图和 AdamW 开始，完整串起 CausalLM 的训练链路与最小 Llama 风格 Transformer。
直接阅读 →DPO 为什么只做偏好分类，却“自带” KL 约束？
从 KL-Regularized RL 目标出发，推导 DPO Loss 中隐含的 KL 结构。
直接阅读 →在分布视角下理解语言模型后训练
从序列分布与自回归概率树出发，在同一视角下理解 SFT、RL 与 OPD。
直接阅读 →