论坛
BBS
会员中心
Space
用户
登录
用户名
Email
自动登录
找回密码
密码
登录
立即注册
搜索
搜索
本版
帖子
用户
本版
帖子
用户
CUDA
技术
工具
资源
入门
社区
论坛
开启辅助访问
切换到宽版
好友
帖子
收藏
道具
勋章
任务
设置
我的收藏
退出
腾讯QQ
微信登录
论坛
›
AI 和数据科学
›
SDK
›
查看内容
发表新帖
查看:
6992
|
回复:
0
为什么我使用INT8速度没有FP16速度快?
黄璐瑶
黄璐瑶
当前离线
黄璐瑶
初入江湖
|
显示全部楼层
|
阅读模式
1
#
电梯直达
发表于 2021-1-30 10:22:13
6992
0
我用yolov4在pytorch和tensorrt上做了一些实验,最后发现int8的速度没有很大的提升,这是为什么?下面是我的表格
网络模型
量化精度
tensorrt推理速度
pytorch推理速度
速度比
精度最大误差
top_100精度最大误差
备注
YOLOv4
fp32
1.7709794
34.288859
19.4
0.0000018239
0.0000017946
迭代循环1000次求出的均值
YOLOv4
fp16
1.5252711
34.288859
22.5
0.0045694825
0.0044590990
迭代循环1000次求出的均值,相比fp32速度提升了1.161倍
YOLOv4
int8
1.6355145
34.288859
21.0
0.6155709
0.48024634
迭代循环1000次求出的均值
我的环境是:
TensorRT: 7.2.1.6
Pytorch: 1.4.0
CUDA: 10.2
CUDNN: 8.0.2
显卡:GTX1660ti
操作系统Ubuntu 18.04
使用道具
举报
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
发表回复