容天AIX 1365国产工作站搭配华为昇腾双卡300Duo

部署 DeepSeek-R1-Distill-Qwen-32B 模型

一、环境信息

1.1 硬件配置

1.2 软件环境

1.3 NPU 状态

所有 4 个 NPU 核心运行正常，温度范围 34-38°C

二、部署模型

模型路径: /data/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

三、服务配置

3.1 部署架构

• 容器化部署: Docker + MindIE

• 容器名称: deepseek32b

• 镜像: mindie:2.3.0-800I-A2-py311-openeuler24.03-lts

• NPU 分配: 2卡并行推理 (davinci0-3)

• 共享内存: 16 GB

3.2 关键配置参数

3.3 API 端点

• 生成接口: http://192.168.110.xx:1025/generate

• 模型信息: http://192.168.110.xx:1025/v1/models

• 健康检查: http://192.168.110.xx:1025/health

四、资源使用情况

4.1 NPU 显存使用

模型加载后各 NPU 显存使用情况:

总显存使用: ~64 GB / 176 GB (约 36%)

4.2 系统资源

五、性能测试

5.1 推理速度测试

平均性能:

• 短文本: 7-8 tokens/秒

• 长文本批处理: 20-30 tokens/秒

• 首 token 延迟: <1 秒

5.2 功能测试

5.3 稳定性测试

• 连续运行时间: 2+ 小时

• 请求成功率: 100%

• 服务重启: 正常

• 异常处理: 良好

六、API 使用示例

7.1 基础调用示例

使用 curl 命令:

curl -X POST http://192.168.110.xx:1025/generate \
  -H "Content-Type: application/json" \
  -d '{
    "inputs": "你好，请介绍一下你自己",
    "parameters": {
      "max_new_tokens": 100
    }
  }'

7.2 Python 调用示例

import requests

url = "http://192.168.110.xx:1025/generate"
payload = {
    "inputs": "写一个快速排序算法",
    "parameters": {
        "max_new_tokens": 200,
        "temperature": 0.7
    }
}

response = requests.post(url, json=payload)
result = response.json()
print(result["generated_text"])

八、测试结论

8.1 部署结果

✓ 部署成功

✓ 服务运行稳定

✓ API 接口正常

✓ 功能测试通过

服务器端展示

8.2 性能评估

8.3 适用场景

✓ 推荐场景:

• 开发测试环境

• 小规模应用 (<10 并发)

• 离线批处理任务

• 模型验证和调试