1. 在Windows上搭建Ubuntu WSL环境1.1 WSL安装前的准备工作在Windows 10/11上安装WSLWindows Subsystem for Linux前建议先确认系统版本。对于Windows 10需要版本2004及更高Build 19041及以上Windows 11则原生支持。可以通过WinR输入winver查看具体版本号。注意如果系统版本过低建议先通过Windows Update升级系统否则可能无法获得完整的WSL2功能支持。打开PowerShell管理员身份运行执行以下命令启用WSL功能dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart接着启用虚拟机平台功能dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart完成后需要重启系统。重启后建议将WSL2设置为默认版本wsl --set-default-version 21.2 安装Ubuntu发行版微软商店提供了多个Linux发行版这里我们选择Ubuntu LTS版本目前最新是22.04 LTS。可以通过以下任一方式安装图形界面方式打开Microsoft Store搜索Ubuntu选择Ubuntu 22.04 LTS点击安装命令行方式管理员PowerShellwsl --install -d Ubuntu-22.04安装完成后首次启动会提示创建用户名和密码。建议密码不要过于简单因为后续sudo操作需要频繁使用。1.3 WSL基础配置优化安装完成后建议进行以下优化配置更新软件源并升级现有包sudo apt update sudo apt upgrade -y安装常用工具包sudo apt install -y build-essential curl wget git vim配置SSH服务可选方便远程连接sudo apt install -y openssh-server sudo service ssh start内存与交换空间调整在Windows用户目录下创建.wslconfig文件[wsl2] memory8GB swap4GB实测心得对于vLLM这类内存密集型应用建议分配至少8GB内存。如果物理内存充足可以设置更高值。2. vLLM环境部署与配置2.1 CUDA与显卡驱动安装vLLM需要CUDA环境支持在WSL中配置略有不同首先确保Windows主机已安装最新NVIDIA驱动在Ubuntu WSL中安装CUDA Toolkitwget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/3bf863cc.pub sudo add-apt-repository deb https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/ / sudo apt update sudo apt install -y cuda验证安装nvidia-smi应该能看到显卡信息类似如下输出----------------------------------------------------------------------------- | NVIDIA-SMI 525.85.12 Driver Version: 527.41 CUDA Version: 12.0 | |---------------------------------------------------------------------------2.2 Python环境配置推荐使用conda管理Python环境安装Minicondawget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh创建专用环境conda create -n vllm python3.9 -y conda activate vllm安装PyTorch适配CUDA版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182.3 vLLM安装与验证安装vLLM核心包pip install vllm安装额外依赖可选用于Web UI等pip install vllm[all]验证安装python -c from vllm import LLM; print(vLLM导入成功)踩坑记录如果遇到libcuda.so.1: cannot open shared object file错误尝试执行sudo apt install -y nvidia-cuda-toolkit export LD_LIBRARY_PATH/usr/lib/wsl/lib:$LD_LIBRARY_PATH3. 运行第一个vLLM模型3.1 模型下载与加载vLLM支持HuggingFace模型库中的大多数模型。以Llama 2 7B为例首先确保有HuggingFace访问权限需同意Llama 2使用条款设置HuggingFace tokenhuggingface-cli login编写加载脚本load_model.pyfrom vllm import LLM, SamplingParams llm LLM(modelmeta-llama/Llama-2-7b-chat-hf) sampling_params SamplingParams(temperature0.8, top_p0.95)3.2 推理测试继续在脚本中添加推理代码prompts [ 请用中文解释量子计算的基本原理, 写一首关于人工智能的七言绝句, 用Python实现快速排序算法 ] outputs llm.generate(prompts, sampling_params) for output in outputs: print(fPrompt: {output.prompt}) print(fGenerated text: {output.outputs[0].text}\n)3.3 性能优化技巧启用连续批处理continuous batchingllm LLM(modelmeta-llama/Llama-2-7b-chat-hf, enable_prefix_cachingTrue)使用Tensor并行多GPUllm LLM(modelmeta-llama/Llama-2-7b-chat-hf, tensor_parallel_size2)调整KV缓存大小llm LLM(modelmeta-llama/Llama-2-7b-chat-hf, gpu_memory_utilization0.9)4. 常见问题与解决方案4.1 WSL相关问题问题1WSL安装速度慢解决方案更换微软商店下载源或使用离线包# 下载离线包 Invoke-WebRequest -Uri https://aka.ms/wslubuntu2204 -OutFile Ubuntu.appx -UseBasicParsing # 安装 Add-AppxPackage .\Ubuntu.appx问题2WSL2内存泄漏解决方案定期回收内存或设置内存上限# .wslconfig [wsl2] memory8GB4.2 vLLM运行问题问题1CUDA out of memory解决方案减小模型大小如使用7B而非13B降低gpu_memory_utilization参数启用量化如bitsandbytes问题2Tokenization速度慢解决方案llm LLM(modelmeta-llama/Llama-2-7b-chat-hf, tokenizer_modeslow)4.3 性能优化检查表问题现象可能原因解决方案推理速度慢未启用连续批处理设置enable_prefix_cachingTrueGPU利用率低批处理大小不足增加prompt数量内存不足模型太大使用量化或小模型首次加载慢未缓存模型提前下载模型到本地5. 高级应用与扩展5.1 部署API服务vLLM提供开箱即用的API服务python -m vllm.entrypoints.api_server \ --model meta-llama/Llama-2-7b-chat-hf \ --port 8000 \ --host 0.0.0.0测试接口curl http://localhost:8000/generate \ -H Content-Type: application/json \ -d { prompt: 解释深度学习的基本概念, max_tokens: 100 }5.2 集成Web UI安装Web UI组件pip install vllm[webui]启动Web界面python -m vllm.entrypoints.web_server \ --model meta-llama/Llama-2-7b-chat-hf \ --port 5000访问http://localhost:5000即可使用交互式界面。5.3 模型微调支持虽然vLLM主要针对推理优化但可以结合PEFT进行轻量级微调安装PEFTpip install peft创建适配器from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, target_modules[q_proj, v_proj], task_typeCAUSAL_LM ) model get_peft_model(llm.get_model(), lora_config)我在实际使用中发现WSL环境下运行vLLM相比原生Linux会有约10-15%的性能损失但对于开发和测试完全够用。关键是要确保CUDA版本匹配并且为WSL分配足够的内存资源。对于生产环境建议还是使用原生Linux系统。
