论坛
BBS
会员中心
Space
用户
登录
用户名
Email
自动登录
找回密码
密码
登录
立即注册
搜索
搜索
本版
帖子
用户
本版
帖子
用户
CUDA
技术
工具
资源
入门
社区
论坛
开启辅助访问
切换到宽版
好友
帖子
收藏
道具
勋章
任务
设置
我的收藏
退出
腾讯QQ
微信登录
论坛
›
社区信息
›
GPU Hackathon
›
TRT Hackathon
›
查看内容
发表新帖
查看:
1621
|
回复:
0
问:所以说会进入int8量化环节,但是不保证所有层都用int8...
GPUS-Cat
GPUS-Cat
当前离线
GPUS-Cat
管理员
|
显示全部楼层
|
阅读模式
1
#
电梯直达
发表于 2021-4-26 11:35:00
1621
0
问:所以说会进入int8量化环节,但是不保证所有层都用int8,对吗?
答复:我们区分一下calibration和quantization,calibration环节不需要真的去运行int8的计算,这个所有的层都会做。quantization是在runtime运行模型的时候,这个取决于build engine的时候有没有选择int8 kernel(可能是没有int8 kernel,也可能是不够快)
使用道具
举报
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
发表回复