前言
大 Batch 放不进显存时,最常见的做法是拆成几个 micro-batch,分别 forward/backward,最后只执行一次 optimizer step。
听起来就是“多调几次 backward”,但如果 micro-batch 大小不同、每个样本有效 token 数不同,或者 loss 本身按 token 归一化,直接累加得到的梯度并不一定等于完整 Batch。
大 Batch 放不进显存时,最常见的做法是拆成几个 micro-batch,分别 forward/backward,最后只执行一次 optimizer step。
听起来就是“多调几次 backward”,但如果 micro-batch 大小不同、每个样本有效 token 数不同,或者 loss 本身按 token 归一化,直接累加得到的梯度并不一定等于完整 Batch。
线上有一个很奇怪的问题:OpenAI-compatible endpoint 第一次请求正常,放一段时间后再请求会稳定返回:
1 | 409 sampling run is not active |
这是一篇总结作者2025年所经历的大小事件及感悟的文章, 主要以时间为顺序阐述
2025.1.1 这是一个重要的日子, 我和女朋友官宣了, 不过由于我俩都是没朋友的类型, 估计不超过30个赞
12月份的某天晚上, 我在打bf5, 她突然就来找我表白了, 我觉得等到1.1再官宣更方便记住这个日子
不过我俩都觉得, 当时是对方主动追的
我觉得吧, 遇见她真的很幸运, 她真的是个很好的人. 刚认识的时候有点假小子, 对技术十分热情, 编程 电路分析 画板子 建模都在自己学, 当时的她还是十分geek的, 就是后面沉迷追星了说是
直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.
降级vllm似乎无效, 寻求网上解决办法
Docker官方一键安装脚本
使用官方源安装(国内直接访问较慢)
1 | curl -fsSL https://get.docker.com | bash |
跟着走就完了,简单的
不过网络问题没办法咯
1 | #安装编译依赖 |
援引澎湃新闻
瓦格纳创始人普里戈任所乘飞机坠毁,俄媒:普京返回莫斯科_澎湃号·媒体_澎湃新闻-The Paper
当地时间23日,一架私人飞机在俄罗斯特维尔州坠毁,机上共载有10人,其中3人为机组人员。机上人员全部遇难,包括俄罗斯私营军事承包商瓦格纳集团创始人普里戈任和瓦格纳创始人之一、指挥官乌特金。