用户
 找回密码
 立即注册
发表于 2022-4-6 14:53:30
4840
第二届hackathon trt比赛的初赛,encoder部分模型序列化出来后,output 的bingding index和 评测代码testEncoderAndDecoder.py中的index不一致,但是plan是正确的,只是output的index和评测代码不一致,想问一下为什么咱们的评测代码要用index去获取output而不是用name,这会导致我们序列化engine出的output index和代码提供的排序不一致,导致模型通过不了验证。还有就是我们如果使用FP16或INT8量化去优化模型,平均相对误差的数量级需要调整吗,还是不论是FP32,FP16,INT8统一都是按照testEncoderAndDecoder.py中给的阈值迁移验证我们的模型

答:testEncoderAndDecoder.py更新了一版(在最新的docker image中),新版中使用了与onnx模型相同的name来获取binding index。

不同精度模式的模型,采用相同的误差范围,其中包含了一个fp32转fp16的陷阱,可以用于增加区分度


使用道具 举报 回复
发新帖
您需要登录后才可以回帖 登录 | 立即注册