使用TensorRT加速yolo3

2019-02-25 16:08:56来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

一、TensorRT支持的模型: 

TensorRT 直接支持的modelONNXCaffeTensorFlow,其他常见model建议先转化成ONNX。总结如下:

1 ONNX(.onnx) 

2 Keras(.h5) --> ONNX(.onnx) (https://github.com/onnx/keras-onnx)

3 Caffe(.caffemodel)

4 Darknet(.cfg) --> ONNX(.onnx) (Our tutorial : yolo-v3)

5 TensorFlow(.uff)

 

二、TensorRT支持的常见运算:

 Activation(激活函数)Convolution(卷积运算)Deconvolution(反卷积运算)FullConnected(全连接)Padding(填充)Pooling(池化)RNN(递归神经网络)SoftMax()等。

更详细的API可参考:

https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/classnvinfer1_1_1_i_network_definition.html

 

三、TensorRT加速yolo3

yolo3CNN网络和detection模块组成,TensorRT只对CNN网络进行Inference加速。即:

TensorRT input is608*608 image

TensorRT output isarray

  (array[0].shape = 255 *19*19

   array[1].shape = 255*38*38

   array[2].shape = 255 *76*76)

 

具体实现过程:

 1 Darknet(.cfg) --> ONNX(.onnx)

 2 ONNX(.onnx) --> TensorRT model(.trt)

 3 TensorRT加速CNN部分,执行detection模块得到最终结果。

pytorch-yolo3:https://github.com/ayooshkathuria/pytorch-yolo-v3

本项目地址:https://github.com/Cw-zero/TensorRT_yolo3

(注:本项目是对pytorch-yolo3进行改写加速的)

 

四、性能比较:

 

 

 

 

 

--------------------------------------------end~我是可爱的分割线~--------------------------------------

More about TensorRT 可参考官方指导:

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#python_example_unsupported

 

 

 


原文链接:https://www.cnblogs.com/justcoder/p/10428100.html
如有疑问请与原作者联系

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:centos7防火墙

下一篇:命令:hash