用户
 找回密码
 立即注册
发表于 2021-1-30 10:22:13
69920
我用yolov4在pytorch和tensorrt上做了一些实验,最后发现int8的速度没有很大的提升,这是为什么?下面是我的表格

网络模型
量化精度
tensorrt推理速度
pytorch推理速度
速度比
精度最大误差
top_100精度最大误差
备注
YOLOv4
fp32
1.7709794
34.288859
19.4
0.0000018239
0.0000017946
迭代循环1000次求出的均值
YOLOv4
fp16
1.5252711
34.288859
22.5
0.0045694825
0.0044590990
迭代循环1000次求出的均值,相比fp32速度提升了1.161倍
YOLOv4
int8
1.6355145
34.288859
21.0
0.6155709
0.48024634
迭代循环1000次求出的均值


我的环境是:
TensorRT: 7.2.1.6
Pytorch: 1.4.0
CUDA: 10.2
CUDNN: 8.0.2
显卡:GTX1660ti
操作系统Ubuntu 18.04
使用道具 举报 回复
发新帖
您需要登录后才可以回帖 登录 | 立即注册