并行計算（深度介紹）

并行計算指的是將計算任務(wù)分配給幾個共享相同內(nèi)存的處理器的計算模式。并行計算系統(tǒng)的架構(gòu)通常表現(xiàn)為組件的同構(gòu)性；每個處理器都是相同類型的，且擁有相同的處理性能。共享內(nèi)存有一個獨立的地址空間，可供所有處理器訪問。并行程序被分成若干執(zhí)行單元并分配給不同的處理器，它們之間依靠共享內(nèi)存相互通信。

起初，只有具有共享同一物理內(nèi)存的多處理器的架構(gòu)才可稱為并行系統(tǒng)。隨著時間的推移，這些限制條件已經(jīng)放寬，只要是基于共享內(nèi)存這一概念的架構(gòu)，無論是物理內(nèi)存系統(tǒng)，還是由庫、特定的硬件和高效的網(wǎng)絡(luò)基礎(chǔ)設(shè)施組成的系統(tǒng)，都可以稱為并行系統(tǒng)。例如，一個集群中節(jié)點通過無限帶寬網(wǎng)絡(luò)連接，且配置了分布式共享內(nèi)存系統(tǒng)，就可以稱作并行系統(tǒng)。

處理器芯片已經(jīng)逐漸達到其物理極限。處理器的處理速度季制于光速，處理器中封裝晶體管的密度也受到熱力學(xué)溫度極限的約束。為了克服這些限制。人們將多個處理器連接起來互相協(xié)調(diào)工作，成功地解決了這個難題。在這一方向上的初步探索引領(lǐng)了并行計算的發(fā)展，包括技術(shù)、架構(gòu)和用于并行執(zhí)行多個任務(wù)的系統(tǒng)。正如之前所述，并行計算和分布式計算在概念上沒有十分清晰的界定，前者經(jīng)常用來代替后者。本文將介紹并行計算核心概念和基礎(chǔ)知識。 

全文下載：并行計算

全文下載：并行計算

下載鏈接：超級計算中心基礎(chǔ)設(shè)施發(fā)展趨勢

阿里云彈性高性能計算

中國高性能計算挑戰(zhàn)與進展

高性能深度學(xué)習(xí)計算框架

超級計算機研究報告

深度報告：GPU研究框架

基于CPU/GPU異構(gòu)量子高性能計算    

《高性能計算和超算專題》

1、超級計算的應(yīng)用挑戰(zhàn)

2、超級計算機研究報告

3、超算現(xiàn)狀及報告

4、高性能計算分析

5、中國超算產(chǎn)業(yè)發(fā)展現(xiàn)狀分析

6、高性能計算現(xiàn)狀和未來

《基于GPU加速和高性能計算專題》

1、超算現(xiàn)狀及報告

2、程序自動并行化與二進制翻譯技術(shù)

3、高性能計算分析

4、面向眾核系統(tǒng)的編譯優(yōu)化

5、中國超算產(chǎn)業(yè)發(fā)展現(xiàn)狀分析

6、阿里云彈性高性能計算

7、超級計算的應(yīng)用挑戰(zhàn)

8、基于CPU GPU異構(gòu)平臺密度泛函理論高性能計算

9、基于RDMA的高性能分布式文件存儲

10、基于GPU加速的矩陣離散元方法原理與實現(xiàn)

免責(zé)申明：本號聚焦相關(guān)技術(shù)分享，內(nèi)容觀點不代表本號立場，可追溯內(nèi)容均注明來源，發(fā)布文章若存在版權(quán)等問題，請留言聯(lián)系刪除，謝謝。

電子書<服務(wù)器基礎(chǔ)知識全解(終極版)>更新完畢，知識點深度講解，提供182頁完整版下載。

獲取方式：點擊“閱讀原文”即可查看PPT可編輯版本和PDF閱讀版本詳情。

溫馨提示：

請搜索“AI_Architect”或“掃碼”關(guān)注公眾號實時掌握深度技術(shù)分享，點擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。