新闻动态
News
前言/ INTRODUCTION
在数字化办公普及的今天，企业对AI工具的需求越来越迫切，而高性能大模型的本地化部署，成为企业实现AI落地、保障数据安全的核心需求。但多数企业面临同一个困境：普通设备无法承载35B级大模型的运行需求，要么算力不足导致运行卡顿、无法启动，要么部署复杂、难以稳定运行，让大模型的强大能力无法落地。
今天，我们带来一款专为企业大模型本地化部署打造的核心解决方案——NVIDIA DGX Spark轻量化AI超算，凭借原厂满血算力，可稳定承载vLLM极速推理引擎与Qwen3.6-35B大模型部署，全程数据不出企业本地，既能释放大模型的核心能力，又能保障企业数据安全，成为企业本地化AI部署的最优选择。 依托DGX Spark的强劲算力，我们完成了Qwen3.6-35B-NVFP4大模型的完整部署与实测，以下展示核心环境版本信息、功能测试结果及具体推理能力演示，直观体现其部署稳定性、运行性能及实际推理效果，让企业清晰了解其实际落地能力。 DGX Spark完美兼容主流大模型部署所需的软件环境，部署完成后，核心版本信息如下（均为实测可稳定运行版本）： Plain Text 以上环境均无需复杂调试，在DGX Spark上可直接适配运行，充分体现其对大模型部署的良好兼容性，无需企业额外投入技术成本进行环境适配。 基于上述环境，我们对部署后的Qwen3.6-35B大模型进行了全场景功能测试，全程在DGX Spark本地运行，测试结果验证了其强劲的算力支撑、稳定的运行能力及优秀的推理效果，以下结合具体测试场景演示推理能力： 场景1：业务数据分析推理调用命令： ￮ curl http://localhost:8000/v1/chat/completions \ 推理输出（节选） 场景2：技术问题推理解答调用命令（Python脚本，分步执行）： ￮ vim qwen_test.py 推理输出（节选）： 测试结果表明，DGX Spark不仅能轻松完成大模型部署，更能为其稳定运行、高效响应及精准推理提供强有力的算力支撑，让大模型真正落地到企业日常办公，发挥实际价值。 不同于普通计算设备，DGX Spark作为NVIDIA原厂轻量化边缘AI超算，天生为大模型部署设计，凭借深度优化的算力架构和硬件配置，轻松解决企业大模型部署的核心痛点，让高性能大模型真正落地到企业日常办公中。 这是DGX Spark最核心的优势——搭载NVIDIA原厂优化算力，集成满血CUDA加速能力，可稳定承载Qwen3.6-35B-NVFP4这类高性能大模型的部署与运行，无需多设备协同，单台设备即可实现大模型的高效推理。 无论是模型的部署启动、日常运行，还是多场景调用，DGX Spark都能提供充足算力支撑，避免出现算力不足导致的卡顿、崩溃问题，让大模型始终保持流畅运行状态，充分发挥其在数据分析、文档处理、智能运维等场景的核心价值。 DGX Spark深度兼容vLLM极速推理引擎、Qwen系列等主流大模型及相关部署工具，无需复杂的适配调试，通过简单的部署命令，即可完成大模型的安装、启动与运行，实现快速落地。 部署过程中，从环境准备、模型下载到服务启动，均有清晰的命令指引，无需复杂的技术改造，既能满足技术人员的专业部署需求，也能让企业快速完成大模型的落地调试，无需投入大量人力成本。例如，通过简单的命令即可完成模型下载与服务启动，全程自动化运行，保障大模型部署的稳定性与高效性。 同时，DGX Spark机身小巧，无需专业机房，办公室桌面即可摆放，打破了大模型部署对场地的限制，让企业无论规模大小，都能轻松实现高性能大模型的本地化部署。 依托DGX Spark的本地化部署能力，大模型的运行全程在企业本地完成，所有核心数据（客户信息、销售报表、内部文档等）均存储在本地设备中，不上传、不流转到任何公网平台，从根源上杜绝数据泄露风险。让企业在享受大模型带来的便利时，无需担心数据安全问题。 在DGX Spark的算力支撑下，部署后的Qwen3.6-35B大模型可稳定适配企业多类高频场景，无论是API服务搭建、智能文档问答、运维自动化，还是销售数据、业务数据的深度分析，都能快速响应、精准输出。 通过简单的命令调用，即可让大模型完成人工数小时才能完成的工作，例如快速生成数据分析报告、处理复杂文档、完成系统巡检等，既提升了工作效率，又能保证输出结果的精准度，让大模型真正成为企业提升核心竞争力的有力工具。 算力强劲 NVIDIA原厂满血算力，单台即可稳定承载35B级大模型部署与运行。 适配性强 兼容vLLM、Qwen3.6等主流技术生态，部署便捷，无需复杂适配 安全可控 全程本地运行，核心数据零公网接触，杜绝泄露风险 灵活便捷 桌面级部署，无需专业机房，快速完成大模型落地 场景广泛 适配企业API服务、数据分析、运维等全场景，释放大模型价值 企业AI落地的核心，在于让高性能大模型真正发挥价值，而合适的部署设备，是这一切的基础。DGX Spark作为NVIDIA原厂轻量化AI超算，以强劲的算力、优秀的适配性和安全的本地化部署能力，打破了大模型部署的壁垒，让企业无需复杂操作，就能轻松实现高性能大模型的本地化落地。 无论是中小企业还是大型企业，无论是需要搭建智能办公系统，还是实现数据深度分析，DGX Spark都能精准匹配需求，成为企业大模型本地化部署的首选设备，助力企业数字化转型，提升核心竞争力。
实测环境版本信息
# 核心软件版本
vLLM 0.20.1（极速推理引擎）
PyTorch CUDA 12.1（深度学习框架）
Qwen3.6-35B-A3B-NVFP4（大模型版本）
# 模型存储及运行状态
模型大小：约19.7GB（NVFP4量化，单卡即可承载）
运行设备：DGX Spark 轻量化AI超算
部署环境：Ubuntu 22.04 系统
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.6-35b-nvfp4",
"messages": [{"role": "user", "content": "现有1-4月销售数据：1月50万、2月65万、3月78万、4月92万，分析数据趋势并预测5月销售额，给出3条提升业绩的建议"}]
}'
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8000/v1",
api_key="dummy"
)
# 技术问题推理测试
prompt = "企业本地服务器出现显存不足报错，结 合DGX Spark的算力优势，给出3种快速解决办法"
res = client.chat.completions.create(
model="qwen3.6-35b-nvfp4",
messages=[{"role": "user", "content": prompt}],
stream=True
)
print("大模型推理输出：")
for chunk in res:
text = chunk.choices[0].delta.content or ""
print(text, end="", flush=True)
python qwen_test.py
