AI大模型私有化部署指南

返回知识库

一、集群算力规格

RTX 5090基于NVIDIA Blackwell架构，是目前消费/工作站级最强GPU。单卡核心参数如下：

4台机器 × 8卡组成集群后，合计规格：

二、可部署模型分层

根据参数规模和显存需求，将可部署模型分为三个层级：

三、主要模型显存需求速查

模型	参数量	FP16 显存	FP8 量化	INT4 量化	推荐部署
Qwen2.5 72B	72B	~144 GB	~72 GB 推荐	~36 GB	单机 8 卡（FP8）
Llama-3.3 70B	70B	~140 GB	~70 GB 推荐	~35 GB	单机 4 卡（FP8）
Llama-3.1 405B	405B	~810 GB	~405 GB	~200 GB 推荐	2 台机器 TP=16
DeepSeek-V3	671B MoE	~1.3 TB	~670 GB	~380 GB 推荐	全集群 32 卡
Qwen2.5 14B	14B	~28 GB	~14 GB	~7 GB	单卡即可
FLUX.1 Dev	12B	~24 GB	—	~12 GB	单卡（图像生成）

四、推理服务栈

推荐以 vLLM 为核心推理引擎，搭配OpenAI兼容接口，现有业务代码无需修改即可接入。

五、快速启动

以下示例使用vLLM在4卡上启动Qwen2.5-72B，对外暴露OpenAI兼容接口：

# 1. 安装 vLLM（需要 CUDA 12.4+）
pip install vllm

# 2. 启动推理服务（FP8量化，4卡Tensor Parallel）
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-72B-Instruct \
  --tensor-parallel-size 4 \
  --quantization fp8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --enable-prefix-caching \
  --port 8000

# 3. 在业务代码中调用（与OpenAI SDK完全兼容）
from openai import OpenAI

client = OpenAI(
    base_url="http://10.0.0.1:8000/v1",  # 替换为实际内网IP
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="Qwen2.5-72B-Instruct",
    messages=[
        {"role": "user", "content": "帮我总结这份合同的核心条款"}
    ],
    temperature=0.7,
    max_tokens=2048
)
print(response.choices[0].message.content)

六、知识库RAG接入

结合向量数据库，可将企业内部文档、产品手册、FAQ等知识接入大模型，实现有依据的精准问答。

from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA

# 初始化向量库（使用本地Embedding模型，不联网）
embedding = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-zh-v1.5"
)
vectordb = Chroma(
    persist_directory="./yunfeng_knowledge_db",
    embedding_function=embedding
)

# 构建RAG问答链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,                    # 指向内网vLLM接口
    retriever=vectordb.as_retriever(search_kwargs={"k": 5}),
    return_source_documents=True
)

七、分阶段集成路径

八、常见问题

显存不够运行405B模型怎么办？

优先使用 INT4量化（AWQ或GPTQ），可将405B的显存需求从约810GB降至约200GB，在2台机器16卡上可以运行。同时建议开启 CPU Offloadings（将部分层卸载到内存），可进一步容纳50B左右的额外显存需求。

如何确保数据不离开内网？

vLLM服务只监听内网IP，无外部依赖。所有模型权重从 ModelScope内网镜像 或离线下载后本地加载，Embedding模型同样本地运行。建议在Nginx层配置IP白名单，仅允许内部业务系统访问推理接口。

推荐的监控指标有哪些？

指标	工具	健康阈值	告警阈值
首token延迟（TTFT）	vLLM metrics	< 500 ms	> 2 s
每token生成速度（TPS）	Prometheus	> 50 tok/s	< 20 tok/s
GPU显存利用率	DCGM Exporter	60-90%	> 95%
GPU计算利用率	DCGM Exporter	> 70%	< 30%（空转）
请求排队长度	vLLM metrics	< 10	> 50