◆ 模型舱

本地部署知识库

部署教程 · 模型评测 · 场景方案 —— 一边学一边积累

部署教程

Mac 用 Ollama 部署 Llama 3.1 8B 入门
Ollama mac 10 分钟
用 Dify 搭建私有知识库(RAG) 进阶
Dify windowsmaclinux 1 小时
⚠ 需国内镜像加速
Linux 用 vLLM 部署 Qwen2.5-72B(高并发) 高级
vLLM linux 2 小时
Windows 用 Ollama 一键部署 Qwen2.5-7B 入门
Ollama windows 15 分钟
⚠ 需国内镜像加速

模型评测

DeepSeek-R1 本地部署评测 推荐
DeepSeek-R1 本地部署值不值？ 谨慎
✓ 开源推理王、对标 o1
✗ 671B 本地需多卡、消费级只能跑蒸馏版
Llama-3.2-1B 本地部署评测 推荐
Llama 3.1 8B：开源入门首选 推荐
✓ 轻量、消费级可跑、可商用
✗ 中文不如 Qwen
Qwen2.5-3B 本地部署评测 推荐
Qwen2.5-7B-Instruct 本地部署评测 推荐
Qwen2.5-7B 本地部署实测：中文单卡首选 推荐
✓ 中文能力最强、单卡 8GB 可跑、Apache-2.0 开源
✗ 多模态能力一般
SDXL 本地部署评测 推荐
Whisper-Large-v3 本地部署评测 推荐
Llama-3.1-8B 本地部署评测 推荐
✓ 上下文长度提升至128K、综合能力强，多语言支持好、开源协议友好，支持商用
✗ 对中文的分词不如原生中文模型高效、量化后性能表现待实测验证

场景方案

企业客服知识库方案 进阶
企业需基于自身文档的客服问答
推荐：Qwen2.5-7B-Instruct、GLM-4-Flash · 0~低
法律文书场景：本地化大模型方案 进阶
律所需要保密、中文强的本地 AI
推荐：Qwen2.5-72B-Instruct、Qwen2.5-7B-Instruct · 0 元(开源+本地)