How to specify GPU during inference?

[brianyuastri]

As titled, for example:

from paddleocr import PaddleOCR

model_0 = ocr.ocr(use_gpu=True) # use cuda:0
model_1 = ocr.ocr(use_gpu=True) # use cuda:1

How do I make this work?

[GreatV]

在 PaddleOCR 中，指定 GPU 进行推理时，可以通过设置环境变量 CUDA_VISIBLE_DEVICES 来选择使用哪一张 GPU 卡。具体步骤如下：

1. 设置环境变量：在运行代码之前，通过设置 CUDA_VISIBLE_DEVICES 环境变量来指定使用的 GPU 卡。例如，如果你想使用 cuda:1，可以在命令行中设置：

   export CUDA_VISIBLE_DEVICES=1

   这样，代码运行时只会看到 cuda:1，而不会使用其他 GPU 卡。

2. 在代码中启用 GPU：在代码中，你可以通过 use_gpu=True 来启用 GPU 推理。例如：

   from paddleocr import PaddleOCR
   
   # 使用 cuda:1
   model_1 = PaddleOCR(use_gpu=True)

   由于你已经通过环境变量指定了 cuda:1，model_1 将会在 cuda:1 上运行。

3. 切换 GPU 卡：如果你想在不同的 GPU 卡上运行不同的模型实例，可以在不同的终端或脚本中分别设置 CUDA_VISIBLE_DEVICES，然后分别运行代码。例如：

   • 在第一个终端中：

     export CUDA_VISIBLE_DEVICES=0
     python your_script.py  # 使用 cuda:0

   • 在第二个终端中：

     export CUDA_VISIBLE_DEVICES=1
     python your_script.py  # 使用 cuda:1

通过这种方式，你可以灵活地指定不同的 GPU 卡进行推理。

参考链接

• PaddleOCR 讨论: 请问paddleocr训练时指定gpu是哪个卡在哪里设置？

希望这些信息对你有帮助！

---

Response generated by 🤖 feifei-bot | deepseek-chat

⚠️ This is an AI-generated response. Please verify any critical information.

[brianyuastri]

I need to be able to do this within the same program. Is there a method equivalent to torch.device('cuda:1')?

[GreatV]

You can use the set_device function as documented here: https://www.paddlepaddle.org.cn/documentation/docs/en/api/paddle/device/set_device_en.html

[brianyuastri]

What about actually enabling ocr.args.gpu_id so that it is not just decorative? i.e.

paddleocr.tools.infer.utility

    if args.use_gpu:
        #gpu_id = get_infer_gpuid()
        gpu_id = get_infer_gpuid(args.gpu_id) # enable the use of args.gpu_id

def get_infer_gpuid(gpu_id):
    """
    Get the GPU ID to be used for inference.

    Returns:
        int: The GPU ID to be used for inference.
    """
    logger = get_logger()
    if not paddle.device.is_compiled_with_rocm:
        gpu_id_str = os.environ.get("CUDA_VISIBLE_DEVICES", "0")
    elif gpu_id:
        gpu_id_str = str(gpu_id) # enable the use of args.gpu_id
    else:
        gpu_id_str = os.environ.get("HIP_VISIBLE_DEVICES", "0")

    gpu_ids = gpu_id_str.split(",")
    logger.warning(
        "The first GPU is used for inference by default, GPU ID: {}".format(gpu_ids[0])
    )
    return int(gpu_ids[0]))

[GreatV]

According to the code, the passed-in gpu_id is indeed being used.

PaddleOCR/tools/infer/utility.py

Lines 273 to 280 in 7d0147d

	if args.use_gpu:
	gpu_id = get_infer_gpuid()
	if gpu_id is None:
	logger.warning(
	"GPU is not found in current device by nvidia-smi. Please check your device or ignore it if run on jetson."
	)
	config.enable_use_gpu(args.gpu_mem, args.gpu_id)
	if args.use_tensorrt:

[brianyuastri]

I see, I have mistaken, thanks for your help!