Lkinfer文档

Appearance

GPU 版 ​

提示

  1. 此版本为 GPU 版，支持 64 位系统/程序。
  2. 需要安装CUDA环境，当前测试通过环境：CUDA12.4.0、cuDNN9.6
  3. 小白、新手建议使用 CPU 版，因为 GPU 版需要配置CUDA环境，需要有一定的研发能力。

GPU 优势：

  • 加速模型推理，相比 CPU 能大大提高运算速度
  • 提高资源利用率，充分利用其计算资源，尤其在处理批量数据时
  • 低延迟响应，对实时性要求高的场景（如视频处理、自动驾驶、实时语音识别），GPU 的快速计算能显著降低推理延迟。

demo-gpu

右击新页面打开图片查看大图

前提条件 ​

cmd判断CUDA是否安装：

bash
nvcc --version

输出如下：

C:\Users\Administrator>nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:30:10_Pacific_Daylight_Time_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

调用方法与 CPU 版一致 ​

需要替换 LkinferGPU.dll 动态库文件，引入以下GPU支持库：

bash
LkinferGPU.dll
onnxruntime_providers_cuda.dll
onnxruntime_providers_shared.dll
onnxruntime_providers_tensorrt.dll