【踩坑笔记】Nvidia T4计算卡在Windows服务器使用docker

1、背景

业务上有个需求,希望在 Windows Server 2022 内通过 wsl2 部署 docker 运行类似 Ollama 的 GPU 服务。但 T4 计算卡使用通用方案直接安装官网下载的 GPU 驱动 + docker desktop 无法在 docker 内调用 GPU。

具体表现为:wsl 内nvidia-smi命令正常;nvcc -V命令正常,docker 内nvidia-smi命令异常。网上找到修改注册表可以强启WDDM模式,尝试后,docker 内能看到 GPU,但程序无法调用。

阅读更多

docker容器签出及迁移流程

项目中,在测试环境服务器中部署了docker弄了一个ollama容器,现在需要迁移到生产环境服务器。如果不想重新配置,可将测试完成的ollama容器进行打包,保存为tar文件,传输到生产服务器中,使用load加载镜像,然后运行。具体过程如下:

  1. 将容器打包成镜像

    命令:docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

    options选项:

    • -a :提交的镜像作者;

    • -c :使用Dockerfile指令来创建镜像;

    • -m :提交时的说明文字;

    • -p :在commit时,将容器暂停。

阅读更多