可以正常推理，但推理速度很慢。排查发现问题：torch auto-gptq 版本不对应。

查看官方推荐的版本：

重新安装：

pip install torch==2.2.1

pip install torchvision==0.17.1

pip install auto-gptq==0.7.1

亲测该版本可正常使用gptq，推理速度恢复正常。