Triton地址索引跨过int32边界导致CUDA error
前言
一次 Qwen3.5-4B 训练在约 23.4 万 packed tokens 时触发：
1 | CUDA error: an illegal memory access was encountered |
Triton地址索引跨过int32边界导致CUDA error
一次 Qwen3.5-4B 训练在约 23.4 万 packed tokens 时触发：
1 | CUDA error: an illegal memory access was encountered |
记一次Triton-Ascend融合算子把variance算成0的排查
事情的起点很简单，Qwen3.5-4B 在 Ascend 950PR 上可以正常启动，接口也能返回内容，但是输出完全是胡言乱语。
最麻烦的地方是服务看起来没有坏: 模型加载成功，显存正常，HTTP 也是 200，没有任何一个日志能看出来是某个融合算子算错了。只能从最终输出向前一层层比较中间值。