前言

事情的起点很简单，Qwen3.5-4B 在 Ascend 950PR 上可以正常启动，接口也能返回内容，但是输出完全是胡言乱语。

最麻烦的地方是服务看起来没有坏: 模型加载成功，显存正常，HTTP 也是 200，没有任何一个日志能看出来是某个融合算子算错了。只能从最终输出向前一层层比较中间值。

前言

最近在 Ascend 950PR 上部署 Qwen3.5-4B，最开始直连 vLLM 压测只有：

1
2

Total TPS：  2167.47 tok/s
Output TPS：  426.57 tok/s