Noah's Blog

2026-07-10发表2026-07-10更新tech / AI Infra8 分钟读完 (大约1175个字)

前言

线上有一个很奇怪的问题：OpenAI-compatible endpoint 第一次请求正常，放一段时间后再请求会稳定返回：

1	409 sampling run is not active

2025-12-17发表2025-12-17更新tech / 环境配置5 分钟读完 (大约778个字)

记一次vllm在5090上的安装

前言

直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.

降级vllm似乎无效, 寻求网上解决办法

2025-10-22发表2025-10-22更新tech / 环境配置2 分钟读完 (大约228个字)

国内用户一键安装Docker并配置镜像源

Docker官方一键安装脚本

使用官方源安装（国内直接访问较慢）

1	curl -fsSL https://get.docker.com \| bash

2025-04-20发表2025-04-20更新tech / 环境配置1 分钟读完 (大约186个字)

Linux编译安装python312

跟着走就完了，简单的

不过网络问题没办法咯

#安装编译依赖
sudo yum update
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

#安装ssl
mkdir ~/tmp && cd ~/tmp
wget https://www.openssl.org/source/openssl-1.1.1w.tar.gz
tar -zxvf openssl-1.1.1w.tar.gz
cd openssl-1.1.1w/
/config --prefix=/usr/local/openssl --openssldir=/usr/local/openssl
make && make install

#安装python
cd ~/tmp
wget https://www.python.org/ftp/python/3.12.10/Python-3.12.10.tar.xz
tar -xf Python-3.12.1.tar.xz
cd Python-3.12.1
./configure --with-openssl=/usr/local/openssl --prefix=/root/project/lee/Python-3.12.10
make 
make install

#创建软链接
rm -rf /usr/bin/python3
rm -rf /usr/bin/pip3
sudo ln -s /root/project/lee/Python-3.12.10/bin/python3 /usr/bin/python3
sudo ln -s /root/project/lee/Python-3.12.10/bin/pip3 /usr/bin/pip3

#添加环境变量
echo "export PATH=/usr/bin/python3:/usr/bin/pip3:$PATH" >> ~/.bash_profile
source ~/.bash_profile

#测试
python3 --version

前言

前言

链接

分类

最新文章

归档

标签