记一次Nvidia Driver、Nividia Container Toolkits的安装过程

背景

需要在配备了Nvidia Geforce RTX 3060的工作站上安装对应的driver。为了在GPU上运行Triton,安装Nv container toolkits

步骤

一、在nv官网上查看适配本机显卡的型号

https://www.nvidia.com/Download/index.aspx?lang=en-us

记一次Nvidia Driver、Nividia Container Toolkits的安装过程_第1张图片

查询到的Driver信息
记一次Nvidia Driver、Nividia Container Toolkits的安装过程_第2张图片

下载下来之后直接执行。执行完毕之后在terminal中可运行nvidia-smi查看GPU信息:
记一次Nvidia Driver、Nividia Container Toolkits的安装过程_第3张图片

二、在Ubuntu上安装Docker和Nv Container Toolkits

Ubuntu20.04本身自带docker,但是因为Ubuntu官方系统里自带的Docker版本不是最新的,为了安装最新版本,我们要从官方Docker库里下载安装

  1. Docker安装方式
developer.aliyun.com/article/762674
  1. NV Container Toolkits安装方式
    首先介绍一下Container Toolkits的架构

Nv Container Toolkits

可以看到,只有在宿主机上安装完GPU的Driver和CUDA Driver之后,才在docker上安装Container的Toolkits。具体参考:https://docs.nvidia.com/datac...

最终在Container中运行的结果类似与下图:
记一次Nvidia Driver、Nividia Container Toolkits的安装过程_第4张图片

三、运行Triton

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:-py3 tritonserver --model-repository=/models

其中,是你当初拉去triton image时的版本。运行结果类似下图:

记一次Nvidia Driver、Nividia Container Toolkits的安装过程_第5张图片

你可能感兴趣的