【機器學習】利用第 2 張、第 n 張或多張 GPU 同時執行 python 程式運算（CUDA_VISIBLE_DEVICES）

520 - 深度學習 Deep Learning

【機器學習】利用第 2 張、第 n 張或多張 GPU 同時執行 python 程式運算（CUDA_VISIBLE_DEVICES）

紀錄在多 GPU 主機上指定用哪張（或多張）GPU 跑 Python 程式的方法 — 透過 CUDA_VISIBLE_DEVICES 環境變數控制。

前言

有時候因應我們有訓練時間的需求，
我們會在一台主機上插上多張 GPU，
我們可以使用以下方式，
在同一台電腦上指定 GPU 進行運算。

(如果沒有指定，預設都是第0張 GPU)

Sample Code

預設：只使用第一張 GPU (GPU0)

指定用第二張 GPU (GPU1) 運行程式

CUDA_VISIBLE_DEVICES=1 python train.py

同時使用多張 GPU 運行程式

CUDA_VISIBLE_DEVICES=0,1,2,3 python train.py

Reference

https://stackoverflow.com/questions/40726039/tensorflow-cuda-visible-devices-doesnt-seem-to-work