国产精品无码一区二区三区太,亚洲一线产区二线产区区别,欧美A区,人妻jealousvue人妻

 

一、背景

 

得益于GPU強大的計算能力，深度學習近年來在圖像處理、語音識別、自然語言處理等領域取得了重大突GPU服務器幾乎成了深度學習加速的標配。

 

如何提供一個合適的實例規(guī)格，從而以最高的性價比提供給深度學習客戶，是我們需要考慮的一個問題，本文試圖從CPU、內存、磁盤這三個角度對單機GPU云服務器的深度學習訓練和預測的性能模型做了初步的分析，希望能對實例規(guī)格的選擇提供一個科學的設計模型。

 

下面是我們使用主流的學習框架在NVIDIA GPU上做的一些深度學習的測試。涉及NVCaffe、MXNet主流深度學習框架，測試了多個經(jīng)典CNN網(wǎng)絡在圖像分類領域的訓練和推理以及RNN網(wǎng)絡在自然語言處理領域的訓練。

 

二、訓練測試

 

我們使用NVCaffe、MXNet主流深度學習框架測試了圖像分類領域和自然語言處理領域的訓練模型。

 

2.1 圖像分類

 

我們使用NVCaffe、MXNet測試了圖像分類領域的CNN網(wǎng)絡的單GPU模型訓練。

 

NVCaffe和MXNet測試使用ImageNet ILSVRC2012數(shù)據(jù)集，訓練圖片1281167張，包含1000個分類，每個分類包含1000張左右的圖片。

 

2.1.1 CPU+Memory

 

2.1.1.1 NVCaffe

 

NVCaffe是NVIDIA基于BVLC-Caffe針對NVIDIA GPU尤其是多GPU加速的開源深度學習框架。LMDB格式的ImageNet訓練集大小為240GB ，驗證集大小為9.4GB。

 

我們使用NVcaffe對AlexNet、GoogLeNet、ResNet50、Vgg16四種經(jīng)典卷積神經(jīng)網(wǎng)絡做了圖像分類任務的模型訓練測試。分別對比了不同vCPU和Memory配置下的訓練性能。性能數(shù)據(jù)單位是Images/Second(每秒處理的圖像張數(shù))。圖中標注為10000指的是迭代次數(shù)10000次，其它都是測試迭代次數(shù)為1000次。

 

2.1.1.2 MXNet

 

MXNet的數(shù)據(jù)集使用RecordIO格式，ImageNet訓練集 93GB ，驗證集 3.7GB。

 

我們使用網(wǎng)絡Inception-v3(GoogLeNet的升級版)做了圖像分類的訓練測試。分別對比了不同vCPU和Memory配置下的訓練性能。數(shù)據(jù)單位是Samples/Second(每秒處理的圖像張數(shù))。

 

2.1.2 磁盤IO

 

我們在阿里云GN5(P100)實例上使用NVCaffe測試了GoogLeNet網(wǎng)絡模型在NVMe SSD本地盤、SSD云盤和高效云盤上的訓練性能，測試結果如下(性能數(shù)據(jù)單位是Images/Second)：

 

2.2 自然語言處理

 

我們使用MXNet測試了RNN網(wǎng)絡的LSTM模型的訓練，使用PennTreeBank自然語言數(shù)據(jù)集。PennTreeBank數(shù)據(jù)集的文本語料庫包含近100萬個單詞，單詞表被限定在10000個單詞。分別對比了不同vCPU和Memory配置下的訓練性能：

 

三、推理測試

 

3.1 圖像分類

 

我們使用NVCaffe測試了圖像分類領域的CNN網(wǎng)絡的模型推理。

 

測試使用ImageNet ILSVRC2012數(shù)據(jù)集，驗證測試圖片 50000張。

 

3.1.1 CPU+Memory

 

我們使用NVcaffe對AlexNet、GoogLeNet、ResNet50、VGG16四種經(jīng)典卷積神經(jīng)網(wǎng)絡做了圖像分類的推理測試。分別對比了不同vCPU和Memory配置下的訓練性能。數(shù)據(jù)單位是Images/Second(每秒處理的圖像張數(shù))。

 

3.1.2 磁盤IO

 

我們使用NVCaffe測試了GoogLeNet網(wǎng)絡在NVMe SSD本地盤、SSD云盤和高效云盤上的圖像分類推理性能，測試結果如下(數(shù)據(jù)單位是Images/Second)：

 

四、數(shù)據(jù)預處理測試

 

在訓練模型之前，往往要對訓練數(shù)據(jù)集做數(shù)據(jù)預處理，統(tǒng)一數(shù)據(jù)格式，并做一定的歸一化處理。

 

我們使用NVCaffe對ImageNet ILSVRC2012數(shù)據(jù)集做了數(shù)據(jù)預處理的測試，分別對比了NVMe SSD本地盤、SSD云盤和高效云盤的數(shù)據(jù)預處理時間，數(shù)據(jù)單位是秒，數(shù)據(jù)如下：

 

五、數(shù)據(jù)分析

 

5.1 訓練

 

5.1.1 圖像分類

 

從NVCaffe和MXNet的測試結果來看，圖像分類場景單純的訓練階段對CPU要求不高，單GPU 只需要4vCPU就可以。而內存需求則取決于深度學習框架、神經(jīng)網(wǎng)絡類型和訓練數(shù)據(jù)集的大?。簻y試中發(fā)現(xiàn)NVCaffe隨著迭代次數(shù)的增多，內存是不斷增大的，但是內存需求增大到一定程度，對性能就不會有什么提升了，其中NVCaffe AlexNet網(wǎng)絡的訓練，相比其它網(wǎng)絡對于內存的消耗要大得多。相比之下MXNet的內存占用則要小的多(這也是MXNet的一大優(yōu)勢)，93G預處理過的訓練數(shù)據(jù)集訓練過程中內存占用不到5G。

 

對于磁盤IO性能，測試顯示訓練階段NVMe SSD本地盤、SSD云盤性能基本接近，高效云盤上的性能略差1%。因此訓練階段對IO性能的要求不高。

 

5.1.2 自然語言處理

 

從MXNet的測試結果來看，對于PennTreeBank這樣規(guī)模的數(shù)據(jù)集，2vCPU 1GB Mem就能滿足訓練需求。由于自然語言處理的原始數(shù)據(jù)不像圖像分類一樣是大量高清圖片，自然語言處理的原始數(shù)據(jù)以文本文件為主，因此自然語言處理對內存和顯存的要求都不高，從我們的測試來看，4vCPU 30GB 1GPU規(guī)格基本滿足訓練階段需求。

 

5.2 推理

 

5.2.1 圖像分類

 

從NVCaffe的圖像分類推理測試來看，除AlexNet 2vCPU剛剛夠用外，其它網(wǎng)絡2vCPU對性能沒有影響，而9.4GB的驗證數(shù)據(jù)集推理過程中內存占用大概是7GB左右，因此對大部分模型來看，2vCPU 30GB 1GPU規(guī)格基本滿足圖像分類推理的性能需求。

 

對于磁盤IO性能，推理性能NVMe SSD本地盤、SSD云盤很接近，但高效云盤差15%。因此推理階段至少應該使用SSD云盤保證性能。

 

5.2.2 自然語言處理

 

對于自然語言處理，參考訓練性能需求，我們應該可以推測2vCPU 30GB 1GPU規(guī)格應該也能滿足需求。

 

5.3 數(shù)據(jù)預處理

 

從NVCaffe對ImageNet ILSVRC2012數(shù)據(jù)集做數(shù)據(jù)預處理的測試來看，數(shù)據(jù)預處理階段是IO密集型，NVMe SSD本地盤比SSD云盤快25%，而SSD云盤比高效云盤快10%。

 

六、總結

 

深度學習框架眾多，神經(jīng)網(wǎng)絡類型也是種類繁多，我們選取了主流的框架和神經(jīng)網(wǎng)絡類型，嘗試對單機GPU云服務器的深度學習性能模型做了初步的分析，結論是：

 

深度學習訓練階段是GPU運算密集型，對于CPU占用不大，而內存的需求取決于深度學習框架、神經(jīng)網(wǎng)絡類型和訓練數(shù)據(jù)集的大小;對磁盤IO性能不敏感，云盤基本能夠滿足需求。

 

深度學習推理階段對于CPU的占用更小，但是對于磁盤IO性能相對較敏感，因為推理階段對于延遲有一定的要求，更高的磁盤IO性能對于降低數(shù)據(jù)讀取的延時進而降低整體延遲有很大的幫助。

 

深度學習數(shù)據(jù)預處理階段是IO密集型階段，更高的磁盤IO性能能夠大大縮短數(shù)據(jù)預處理的時間。