Triton教程–快速开始
Triton推理服务器可作为可构建的源代码提供，但安装和运行Triton的最简单方法是使用NVIDIAGPUCloud提供的预构建Docker映像。
启动和维护Triton推理服务器围绕构建模型存储库的使用展开。本教程将涵盖：
创建模型存储库启动Triton发送推理请求
创建模型存储库
$ cd docs/examples
$ ./fetch_models.sh
启动Triton
Triton经过优化，可通过使用GPU提供最佳推理性能，但它也可以在仅使用CPU的系统上运行。在这两种情况下，您都可以使用相同的TritonDocker映像。
在带GPU的系统上运行
使用以下命令通过您刚刚创建的示例模型存储库运行Triton。必须安装NVIDIA容器工具包，Docker才能识别GPU。–gpus=1标志表示应该为Triton提供1个系统GPU以进行推理。
$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models
其中
+----------------------+---------+--------+
| Model | Version | Status |
+----------------------+---------+--------+
| <model_name> | <v> | READY |
| .. | . | .. |
| .. | . | .. |
+----------------------+---------+--------+
...
...
...
I1002 21:58:57.891440 62 grpc_server.cc:3914] Started GRPCInferenceService at 0.0.0.0:8001
I1002 21:58:57.893177 62 http_server.cc:2717] Started HTTPService at 0.0.0.0:8000
I1002 21:58:57.935518 62 http_server.cc:2736] Started Metrics Service at 0.0.0.0:8002
所有模型都应显示“READY”状态，以表明它们已正确加载。如果模型加载失败，状态将报告失败和失败的原因。如果您的模型未显示在表中，请检查模型存储库和您的CUDA驱动程序的路径。
在纯CPU系统上运行
在没有GPU的系统上，Triton应该在不使用Docker的–gpus标志的情况下运行，但在其他方面与上面描述的相同。
$ docker run --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models
由于未使用–gpus标志，因此GPU不可用，因此Triton将无法加载任何需要GPU的模型配置。
验证Triton是否正常运行
使用Triton的就绪端点来验证服务器和模型是否已准备好进行推理。从主机系统使用curl访问指示服务器状态的HTTP端点。
$ curl -v localhost:8000/v2/health/ready
...
< HTTP/1.1 200 OK
< Content-Length: 0
< Content-Type: text/plain
如果Triton准备就绪，HTTP请求返回状态200，如果未准备好，则返回non-200。
发送推理请求
使用dockerpull从NGC获取客户端库和示例像。
$ docker pull nvcr.io/nvidia/tritonserver:<xx.yy>-py3-sdk
其中
$ docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:<xx.yy>-py3-sdk
在nvcr.io/nvidia/tritonserver:
$ /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg
Request 0, batch size 1
Image "/workspace/images/mug.jpg":
15.346230 (504) = COFFEE MUG
13.224326 (968) = CUP
10.422965 (505) = COFFEEPOT
文章为作者独立观点，不代表股票交易接口观点
股民评论