深度學習屬於機器學習類別中的一環,是一個擴展人工神經網絡(ANN)的算法,訓練多層神經網絡。一個圖像可以用多種方式來表示,如每個像素強度值的向量,或者更抽象的表示成一系列邊、特定形狀的區域等等。

深度學習是非監督或半監督式的特徵學習和分層特徵提取來代替手動提取特徵。

深度神經網絡是一種具備至少一個隱層的神經網絡。與淺層神經網絡類似,深度神經網絡也能為複雜非線性系統提供建模,但多出的層次為模型提供了更高的抽象層次,因而提高了模型的能力。最底層可以從原始像素學習濾波器,刻畫局部的邊緣和紋理特征;通過對各種邊緣濾波器進行組合,中層濾波器可以描述不同類型的部位;最高層描述的是整個車體的全局特徵。當然深度學習不只有圖像方面,針對聲音也會有適合分析語音的模型。

Image source:”Unsupervised Learning of Hierarchical Representations with Convolutional Deep Belief Networks” ICML 2009 & Comm. ACM 2011. Honglak Lee, Roger Grosse, Rajesh Ranganath, and Andrew Ng.

 

  • 使用GPU能夠大幅提高圖像分類的效率,舉例來說Berkeley的caffe,可以在一天之內進行7200萬的圖像運算,僅僅加上一張GPU卡。
  • 以卷積神經網路(convolution neural network)為例,由於神經網路是由大量相同的神經元組成,因此他們本質上是高度平行的。這種平行的特質與 GPU 不謀而合,也會比用 CPU 運算的訓練速度大為提升。深度學習就是大量及稠密的矩陣運算,如矩陣相乘、相加或向量內積,而在處理這樣大量的矩陣運算時,GPU也同樣能提高其效率。而NVIDIA的函式庫cuBLAS或cuSPARSE都是在處理矩陣運算會用到的加速函式庫,配合硬體可提升矩陣求解運算的效能至6至17倍。
  • FLOPs及Bandwidth,就是運算及頻寬也是Neural Network所重視的,這也是GPU具有的強項。此外,藉由GPU可處理更多層的深層神經網絡以提高正確率,另一項重點是GPU能減少電腦的功耗及降低硬體成本。
 

Neural Network會需要的提升效能的地方,
都是GPU的強項

其中一項例子如下方右圖,IMAGENET於圖像辨識方面
逐年的正確率成長圖可以知道,訓練1200萬圖片及
上千個類別並進行辨識及分類。

 
 
  • 深度學習佈署主要可分為軟體、系統及GPU硬體三方面。透過NVIDIA 深度學習的SDK,可將GPU效能更有效發揮。DIGITS為NVIDIA 開發的GPU深度學習訓練系統。
  • 深度學習於GPU上加速的最關鍵SDK為cuDNN,透過此SDK可讓多種開源深度學習框架都能支援GPU運算,並且程式都不需要特別修改。也就是說,即便不會寫CUDA程式也可以利用GPU進行深度學習訓練,感受GPU所帶來的加速效能。其他如cuSPARSE及cuBLAS為深度學習常用的函式庫。NCCL則是多GPU的SDK。

  • Docker則為深度學習目前常用的平台,每個虛擬的容器中都可以是個獨立的系統,每個容器都可以安裝不同的框架,方便管理及維護。使用docker這樣開源的軟體,也同樣可支援GPU運算,讓深度學習的研究更便利
 

  • 深度學習佈署主要可分為軟體、系統及GPU硬體三方面。透過NVIDIA 深度學習的SDK,可將GPU效能更有效發揮。DIGITS為NVIDIA 開發的GPU深度學習訓練系統。
  • 深度學習於GPU上加速的最關鍵SDK為cuDNN,透過此SDK可讓多種開源深度學習框架都能支援GPU運算,並且程式都不需要特別修改。也就是說,即便不會寫CUDA程式也可以利用GPU進行深度學習訓練,感受GPU所帶來的加速效能。其他如cuSPARSE及cuBLAS為深度學習常用的函式庫。NCCL則是多GPU的SDK。
 
 

麗臺的GPU團隊致力於協助客戶於前期的系統建議及規劃、測試,一直到採購後期的軟硬體整合服務、保固、技術服務及教育訓練,提供一整套完整的服務。客戶除了台灣各大專院校,同時為政府或財團法人研究單位以及民間大、中、小型企業提供完整的GPU系統服務。

團隊介紹

沈守宥 Mike Shen  亞太營運經理

  • NVIDIA GPU Total Solution Service
  • 經銷商及通路商產品訓練
  • 各領域市場開發協助及專案產作學合作
  • 協助規劃及建置大型運算中心
  • GPU系統軟硬體整合規劃

林威延 Weiyen 專案技術經理

  • 國立臺灣大學機械所博士
  • 工具機主軸製程管制系統與損壞辨識系統開發, 2010 博士論文
  • 機械系統狀態之判斷方法及判斷裝置 ◎專利
  • 橋樑狀態判斷方法及橋樑狀態判斷裝置 ◎專利

劉家豪 Frank Liu  專案技術經理

  • GPU CUDA平行化程式開發及深度學習應用
  • Leadtek GPU團隊專任講師及GPU技術顧問
  • GPU深度學習及CUDA教育訓練講師
  • NVIDIA 特聘講師 – GPU Technical Consult
  • NVIDIA 主辦 DLI DIGITS hands on lab 講師
  • 台灣各地區 學術/研究 單位 特聘講師

林俊淵 Jeffery Lin  團隊特別顧問

  • 長庚大學資訊工程學系 副教授
  • 長庚大學新興病毒感染研究中心團隊成員
  • 平行處理與計算生物實驗室 實驗室主持人
  • 整合GPU圖形處理器技術於生物資訊工具開發及腦科學影像分析之研究
  • 利用計算機輔助藥物設計平台於新型抗癌抑製劑的研發
  • GPU人工智慧應用金融大數據分析

洪哲倫 Allen Hung 團隊特別顧問

  • 靜宜大學資訊傳播工程學系 教授
  • 靜宜大學大數據研究中心主任
  • 高性能計算實驗室、智慧機械與製造實驗室實驗室主持人
  • 高效能大數據計算、圖形處理器平行運算、深度學習與智慧機械與製造之研究
  • GPU導入應用於生物資訊、雲端運算、網路安全之領域
  • 深度學習於醫學影像辨識
 

    麗臺科技GPU解決方案主要包含:
  • 系統規劃:專業團隊專注於GPU深度學習、HPC軟硬體整合及專業繪圖等解決方案,依客戶使用目的、資料規模及經費,協助規劃適合的方案,並提供採購前測試及採購後維護服務。
  • 測試:在台灣提供客戶進行系統包含GPU測試,中間有任何問題都會由技術協助解決。
  • 軟體整合:包含OS、NVIDIA GPU Driver、CUDA或是深度學習軟體等,可依需求協助建置及指導,讓客戶可專心針對在各自的研究及開發上。
  • 維護:電話服務、到府硬體維護、及線上的RMA登陸頁面,提供完整的三年售後服務。
  • GPU技術服務:由GPU技術人員提供客戶技術服務或教育訓練,教授深度學習或是CUDA課程,或協助解決GPU使用上的問題。
 

案例一:清華大學化學工程系 物理科學運算

在開發過程中,反應器與製程設計需經CAE軟體進行多次模擬測試與理論驗證,以最高規格檢視設計的可製造性。化工系鄭西顯教授、汪上曉教授及姚遠教授研究團隊指出,反應器系統設計與製程改善專案需要使用CAD/CAE軟體,由於模擬系統涉及高度複雜的輸送現象和化學反應,因此需要能加速處理龐大資料運算量的超算電腦。化工系莊曜禎博士表示,導入WinFast GS4820伺服器後,在CAE軟體模擬上,運算速度加快5~8倍,原來要花一個月的開發案,可縮短至一星期內完成分析。

詳全文: http://www.leadtek.com/cht/news/news/1214

 

 
 

案例二:交通大學電機與控制工程學系 提升深度學習模組開發速度

交通大學電機工程系暨電控工程研究所吳炳飛特聘教授指出,讓深度學習技術大展長才的關鍵不僅要大量資料來訓練演算法模型,同時在於運算資源精準度的瓶頸能否突破。麗臺WinFast GS2020伺服器與NVIDIA Tesla M40高速運算卡,使得演算法獲得10倍以上的效能提升,不僅縮短模組訓練時程,同時也大幅降低布署成本。

詳全文: http://www.chinatimes.com/newspapers/20161206000333-260210

 

 

案例三:電信業者 語音/影像辨識系統

  • 採用麗臺伺服器WinFast GS2020x2與NVIDIA Tesla K80x4
  • 訓練語音辨識系統,提升國、台、英語音辨識率
  • 大幅提升影音場景辨識正確率
  • 車牌辨識率訓練時間由8天縮短至3天,辨識率高達98%
 

案例四:AI 新創科技公司 運用於廣告投放

  • 以華語劇作為資料庫,利用深度學習技術分析影片中出現的人物、物件及場景
  • 配合分析結果標註適當標籤,並於特定標的出現時才投放廣告,精準投放增加點擊率及提升使用者經驗
  • 採用麗臺伺服器WinFast GS4820A,大幅提升深度學習運算效率