泉州顯卡服務器租用如何選擇內存、CPU和磁盤?

選擇內存

內存應(ying)當選擇采用時序(xu)頻率高以及(ji)容量大的(de)(de)內存，雖然機器學(xue)習的(de)(de)性能和(he)內存大小(xiao)(xiao)無關，但是(shi)為了避免GPU執行代碼在執行時被(bei)交換到磁盤，需要配(pei)置足(zu)夠的(de)(de)RAM，也就是(shi)GPU顯(xian)存對等大小(xiao)(xiao)內存。

例如(ru)使用24G內(nei)(nei)存(cun)(cun)的(de)(de)Titan RTX，至少需要配置(zhi)24G內(nei)(nei)存(cun)(cun)，不過，如(ru)果使用更(geng)多GPU并不需要更(geng)多內(nei)(nei)存(cun)(cun)。如(ru)果內(nei)(nei)存(cun)(cun)大小已(yi)經(jing)匹配上(shang)GPU卡的(de)(de)顯存(cun)(cun)大小，仍然可能(neng)在處理極大的(de)(de)數據集出現內(nei)(nei)存(cun)(cun)不足的(de)(de)情況，這個(ge)時候應該升配GPU來(lai)獲得比當(dang) 前雙倍的(de)(de)內(nei)(nei)存(cun)(cun)或者(zhe)更(geng)換(huan)內(nei)(nei)存(cun)(cun)更(geng)大實例。

因(yin)為內存在充足的情況(kuang)下(xia)不會影響性(xing)能(neng)，如果內存使用超載則會導(dao)致(zhi)進程被Killd或者程序運行緩慢(man)情況(kuang)。

選擇CPU

在load數(shu)據過(guo)程中，就需(xu)要(yao)用到(dao)大量的CPU和內存(cun)，如果CPU主頻較低(di)或者(zhe)CPU核(he)心較少的情況下，會限制數(shu)據的讀取速度，從而(er)拉低(di)整(zheng)體(ti)訓(xun)練速度，成為訓(xun)練中的瓶頸。

建議選擇核心(xin)較(jiao)多且主(zhu)頻較(jiao)高的的機器，每臺機器中所分配(pei)的CPU核心(xin)數量(liang)可以(yi)通過(guo)創建頁面查(cha)看，也(ye)可以(yi)通過(guo)CPU型號去搜索(suo)該CPU的主(zhu)頻和睿(rui)頻的大小。

CPU的核心數(shu)量也(ye)關(guan)系(xi)到num_workers參數(shu)設(she)置(zhi)的數(shu)值(zhi)，num_worker設(she)置(zhi)得大，好處(chu)是尋batch速(su)度快，因為(wei)下一輪迭代的batch很可能在上(shang)一輪/上(shang)上(shang)一輪…迭代時已經(jing)加(jia)載(zai)好了(le)。壞處(chu)是內(nei)存開(kai)銷大，也(ye)加(jia)重了(le)CPU負擔(worker加(jia)載(zai)數(shu)據到RAM的進(jin)程(cheng)是CPU進(jin)行(xing)復制)。num_workers的經(jing)驗(yan)設(she)置(zhi)值(zhi)是 <= 服(fu)務器的CPU核心數(shu)。

選擇磁盤

在進(jin)行訓練(lian)(lian)或者推(tui)理的(de)過程中需要不(bu)斷的(de)與磁(ci)盤進(jin)行交互，如果磁(ci)盤IO性能較差(cha)，則同樣會(hui)成為(wei)整個訓練(lian)(lian)速度的(de)瓶頸(jing);推(tui)薦(jian)用戶使用 /hy-tmp目(mu)錄進(jin)行數據集(ji)存(cun)儲和訓練(lian)(lian)，因(yin)為(wei)該目(mu)錄為(wei)機器本地(di)磁(ci)盤，訓練(lian)(lian)速度最快，IO效率最高。

平臺的(de)所有機器(qi)中，目前大多(duo)數機器(qi)都(dou)采用SSD高(gao)效磁(ci)(ci)盤(pan)，比傳(chuan)統(tong)機械磁(ci)(ci)盤(pan)速度要(yao)高(gao)幾倍，還有速度更快(kuai)的(de)NVME磁(ci)(ci)盤(pan)，在進行機器(qi)選擇的(de)時(shi)可(ke)根據需要(yao)選擇磁(ci)(ci)盤(pan)IO較好的(de)磁(ci)(ci)盤(pan)。

平臺中各種類型磁盤(pan)讀寫(xie)效率如下：

以下內容均測試為隨機(ji)讀/寫性能，這也是磁(ci)盤在日(ri)常(chang)(chang)的(de)使(shi)用場景，磁(ci)盤廠商(shang)所描述(shu)的(de)3000MB+、5000MB+這種磁(ci)盤讀寫效率(lv)均為順(shun)序(xu)讀寫，并不符合我(wo)們日(ri)常(chang)(chang)使(shi)用場景。

NVME類型磁盤： 每秒隨(sui)(sui)機寫(xie) >= 1700MB 每秒隨(sui)(sui)機讀 >= 2400MB

SSD類型磁盤： 每秒隨(sui)機寫 >= 460MB 每秒隨(sui)機讀 >= 500MB

HDD類型磁盤： 每(mei)秒(miao)隨機寫 ~= 200MB 每(mei)秒(miao)隨機讀 ~= 200MB

縱橫數據專業提供顯卡服務器租用，包含廈門顯卡服務器、泉州顯卡服務器、江西顯卡服務器、成(cheng)都顯(xian)卡服務(wu)器、美國顯卡(ka)(ka)服務器、韓國顯卡(ka)(ka)服務器等租用，有需(xu)要(yao)的朋友可以咨詢我(wo)們(men)，官網(wang)：//66moju.cn/，QQ：3494196421，微(wei)信(xin)：19906048603。