Skip to content

Latest commit

 

History

History
51 lines (38 loc) · 2.53 KB

README_CN.md

File metadata and controls

51 lines (38 loc) · 2.53 KB

简体中文 | English

FastDeploy 服务化部署

简介

FastDeploy基于Triton Inference Server搭建了端到端的服务化部署。底层后端使用FastDeploy高性能Runtime模块,并串联FastDeploy前后处理模块实现端到端的服务化部署。具有快速部署、使用简单、性能卓越的特性。

FastDeploy同时还提供了基于Python搭建的服务化部署能力,只需要通过Python即可启动服务,可参考PaddleSeg部署示例了解其用法。

准备环境

环境要求

  • Linux
  • 如果使用GPU镜像, 要求NVIDIA Driver >= 470(如果是旧的Tesla架构GPU,如T4使用的NVIDIA Driver可以是418.40+、440.33+、450.51+、460.27+)

获取镜像

CPU镜像

CPU镜像仅支持Paddle/ONNX模型在CPU上进行服务化部署,支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime

docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.4-cpu-only-21.10

GPU镜像

GPU镜像支持Paddle/ONNX模型在GPU/CPU上进行服务化部署,支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime

docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.4-gpu-cuda11.4-trt8.5-21.10

用户也可根据自身需求,参考如下文档自行编译镜像

其它文档

服务化部署示例

任务场景 模型
Classification PaddleClas
Detection PaddleDetection
Detection ultralytics/YOLOv5
NLP PaddleNLP/ERNIE-3.0
NLP PaddleNLP/UIE
Speech PaddleSpeech/PP-TTS
OCR PaddleOCR/PP-OCRv3