onnx no found cublasLt64_13.dll but my env is cublasLt64_12.dll

[whyxiaoxing]

ONNX推理问题

报错代码以及报错信息

这是报错信息 Could not locate cublasLt64_13.dll. Please make sure it is in your library path!
Invalid handle. Cannot load symbol cublasLtCreat

这是源码 推理结果 = YOLO模型.Run(new[] { NamedOnnxValue.CreateFromTensor("images",Tensor图片 ) });

有关得上下文我会放到最后面

环境描述以及尝试过的修复的办法（均失败）

• 环境

onnxruntime Gpu 版本当前版本 1.19.1
dotnet 9 LTS
5060ti 显卡
cuda 12.9 + cudnn 9.12

• 尝试过的修复办法(失败)

更换 onnxruntime Gpu 所有版本
更换过 opset 19, 16

1. 问题是 我的cuda tookit 环境是12.8 但是程序却是主动寻找 cublasLt64_13.dll 这个文件，而这个文件在cuda 12.8 版本中并不存在

Error Code and Error Message

• This is the error message: Could not locate cublasLt64_13.dll. Please make sure it is in your library path!

Invalid handle. Cannot load symbol cublasLtCreate
This is the source code: var inferenceResult = YOLOModel.Run(new[] { NamedOnnxValue.CreateFromTensor("images", tensorImage) });
Relevant context will be provided at the end

Environment Description and Attempted Fixes (All Failed)

• Environment

ONNX Runtime GPU version (current): 1.19.1
.NET 9 LTS
NVIDIA GeForce RTX 5060 Ti graphics card
CUDA 12.9 + cuDNN 9.12

• Attempted Fixes (All Failed)

Replaced all versions of ONNX Runtime GPU
Changed ONNX opset versions to 19 and 16 respectively
The core issue is that my CUDA Toolkit environment is version 12.8, but the program actively searches for the file cublasLt64_13.dll which does not exist in CUDA Toolkit 12.8.

the code shwo bug

推理结果 = YOLO模型.Run(new[] { NamedOnnxValue.CreateFromTensor("images",Tensor图片 ) }); // 输入口 图片

[HMS-Yukikaze]

和你差不多的错误，重装环境时发现：
cuDNN 版本：9.1.8
默认同时勾选并安装了：

• cuDNN for CUDA cuda13.1
• cuDNN for CUDA cuda12.9

换而言之，对于我的环境来说：
同时存在 cuDNN for CUDA 12.x 和 13.x
希望可以帮到你

[whyxiaoxing]

感谢你的回答，但是我退一步选择了 DML推理模式，我发现在我使用的项目中只需要推理一张图，我将会在我测试环境中采用你的解决方法