前言
大 Batch 放不进显存时,最常见的做法是拆成几个 micro-batch,分别 forward/backward,最后只执行一次 optimizer step。
听起来就是“多调几次 backward”,但如果 micro-batch 大小不同、每个样本有效 token 数不同,或者 loss 本身按 token 归一化,直接累加得到的梯度并不一定等于完整 Batch。
大 Batch 放不进显存时,最常见的做法是拆成几个 micro-batch,分别 forward/backward,最后只执行一次 optimizer step。
听起来就是“多调几次 backward”,但如果 micro-batch 大小不同、每个样本有效 token 数不同,或者 loss 本身按 token 归一化,直接累加得到的梯度并不一定等于完整 Batch。
线上有一个很奇怪的问题:OpenAI-compatible endpoint 第一次请求正常,放一段时间后再请求会稳定返回:
1 | 409 sampling run is not active |
直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.
降级vllm似乎无效, 寻求网上解决办法
Docker官方一键安装脚本
使用官方源安装(国内直接访问较慢)
1 | curl -fsSL https://get.docker.com | bash |
跟着走就完了,简单的
不过网络问题没办法咯
1 | #安装编译依赖 |