Noah's Blog

前言

一次 BatchLoRA 任务把两个各 32 样本的事件合并后，四张 80G 训练卡同时 OOM：

64 samples
206729 raw tokens
206848 packed tokens
max_seq_len = 8447
每张卡还差约1.58 GiB