云端大模型虽然强大,但存在数据隐私和长期使用成本问题。本地部署让数据不出内网,一次投入长期使用。
硬件要求
- 最低配置:16GB 内存,可运行 7B 量化模型(如 Qwen、Llama)。
- 推荐配置:24GB+ 显存显卡(如 4090),流畅运行 13B-34B 模型。
- 专业配置:多卡或大显存,可运行 70B 级别模型。
工具选择
Ollama - 最简单,一条命令即可运行,适合新手
LM Studio - 图形界面,模型管理方便
llama.cpp - 底层引擎,支持多种量化格式
vLLM - 高性能推理服务,适合生产环境
快速开始(Ollama)
# 安装后运行模型
ollama run qwen2.5:7b
# 与模型对话
> 你好,请介绍一下自己
# 通过 API 调用
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5:7b",
"prompt": "为什么天空是蓝色的?"
}'
模型选择建议
中文场景推荐 Qwen(通义千问)、DeepSeek、ChatGLM;英文场景可选 Llama、Mistral。量化版本(Q4、Q5)在质量和资源占用间取得平衡。
本地部署不是要取代云端,而是给你多一个选择——尤其是处理敏感数据时。