单样本推理时长统计 #11
Description
你好，我统计bert以及不同speed下，准确率、cpu推理和Gpu推理的耗时。现在有一点疑惑，只有当speed为0.8时，总耗时才能小于原来的bert耗时。 请问下我是哪里出错了吗。
统计bert耗时是执行script_eval.sh脚本。参数配置如下：
{{ message }}
你好，我统计bert以及不同speed下，准确率、cpu推理和Gpu推理的耗时。现在有一点疑惑，只有当speed为0.8时，总耗时才能小于原来的bert耗时。 请问下我是哪里出错了吗。
统计bert耗时是执行script_eval.sh脚本。参数配置如下：