前言
直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.
降级vllm似乎无效, 寻求网上解决办法
直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.
降级vllm似乎无效, 寻求网上解决办法
Docker官方一键安装脚本
使用官方源安装(国内直接访问较慢)
1 | curl -fsSL https://get.docker.com | bash |
跟着走就完了,简单的
不过网络问题没办法咯
1 | #安装编译依赖 |