诺诺博客

概述

前几天写了一篇使用dlvm部署DeepSeek的文章：使用DLVM本地部署DeepSeek（未完待续） 但由于网络原因未能完成，今天借此机会继续完善补充。

排坑

先说一下上次部署过程遇到的一些坑

1. 由于国内访问不了 huggingface 需要修改模型下载的平台，修改之后再启动容器；

export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope

启动容器的命令优化了下：

docker run -d \
  --shm-size=128g \
  --name xinference \
  -v /data/xinference/log:/data/xinference/logs \
  -v /data/models:/data/models \
  -e XINFERENCE_HOME=/data/xinference \
  -p 9997:9997 \
  xprobe/xinference:latest \
  xinference-local -H 0.0.0.0 --log-level debug

2. 模型可以通过魔搭社区去下载，在前端直接启动可能会导致下载不成功；比如我下载的这个 glm-4-9b-chat-hf 模型，进到容器的模型路径下

modelscope download --model ZhipuAI/glm-4-9b-chat-hf

3. Docker容器里面的网络必须要能通互联网，可以使用wget验证，否则上面的模型不可能下载！

启动模型

上面我已手动将glm-4-9b-chat-hf下载好了，右下角可以更改语言为中文。

点击小火箭启动

等待启动完成后就可以在运行模型里面看到它正在运行，

点击操作下面的启动 Web UI，进入后就可以使用。

今天太晚了，改天再写继续完善…