如何學習並行編程

① linux 並行編程

簡單回答一下，因為你沒有告訴cpu哪個完成哪個工作。具體代碼我記不得了，用偽代碼寫一下。

如果你用open mpi:

#omp begin
loop begin
#omp end
這個最好實現，不需要分配cpu。

如果用mpi,就要讀thread number, function我記不得了。
int thread=get_thread_no();

if (thread ==0)
...
if (thread== 1)
....

② 基於多核處理器的並行編程

一般學習現成的多線程API比較快，平台間移植也更方便。

OpenMP 是最適合多核（SMP）的並內行容API；另一種API是 MPI（如MPICH等） ，雖然不是非常合適單機多核計算，但它能擴展應用到更大規模的多主機上實現超級計算機上的並行計算。

你可以看我的這個回答：
http://..com/question/99403696.html

③ c++如何並行編程

多線程才可以啊，好比一個人的大腦，計算機也不能同時工作的，即使是多線程，也是交替使用cpu的資源的

④ 我主修C++的，現在想學習並行程序設計，多線程，想問問學習過的人有什麼比較好的參考書嗎，平時應該如何

C++ primer plus(第六版)，我正在用，是本不錯的書籍，最重要的是裡面的一些代碼的設計模式是很值得學習的，感覺不太適合初學者，原因是:一個簡單的語法知識卻以大量的代碼作為例子，更加側重培養讀者的代碼的設計能力，而不是單純學習語法。
還有一般C++ primer 這本書涉及很多與STL模板泛型編程相關的知識，有一定的難度，適合作工具書，邊學邊用。

⑤ MPI並行程序設計

編寫並行計算軟體，常用於超級計算機上的並行計算，比如上海超算中心做流體力學、葯物設計等方面的高性能計算，可以說——假如沒有MPI或者類似的並行編程工具，那些百萬億次、千萬億次的計算機就是廢物。

⑥ 如何利用Scala構建並行機器學習系統

引言
在學習Scala的過程中，我發現其在構建大規模分布式計算系統上有與生俱來的特質。其豐富的類型系統可以幫助編程設計提供很好的信息隱藏和抽象，其monoids和monads概念利用Scala高階函數實現計算並行和數據處理流水線，其Actor系統幫助編寫可伸縮性的應用程序，其實現特定領域語言的優勢幫助開發用戶很好克服不同語言的障礙。
雖然以上Scala優點說起來不會感同身受，但這可以作為我學習的一大動力，讓我開始嘗試編寫並行機器學習系統。
在學習過程中，我主要參考《Scala for Machine Learning》一書和相關網上的資料。希望這些分享能幫助自己學習，也更好的服務有興趣的讀者。
為何使用Scala構建機器學習系統
抽象
Monoids和Monads是函數式編程的重要概念。
Monoids定義了在具有閉包性質（property of closure）的數據集上的二元操作op，恆等操作（identity operation）和結合性（associativity）。
下面是代碼描述：
trait Monoid[T] {
def zero: T
def op(a: T, b: T): T
}1234

Monoids具有結合性的操作。假設ts1、ts2、ts3是三個時間序列，該性質保證ts1+(ts2+ts3) = (ts1+ts2)+ts3。Monoid的結合性對於計算流的並行化是很關鍵的。
Monads可以被認為是容器的結構，它是Monoids的推廣。像是Scala標准庫中的List，Map等集合被設計成monads的結構。
Monads提供了以下的功能：1. 創建集合； 2. 對集合的元素進行轉換； 3. 壓平嵌套的集合。
下面是Scala代碼描述：
trait Monad[M[_]] {
def apply[T](a: T): M[T]
def flatMap[T, U](m: M[T])(f: T=>M[U]): M[U]
}1234

Monads允許集合或者容器連接起來產生一個工作流，該性質可以應用在任何科學計算中。
可擴展性

⑦ Java並行編程有什麼書推薦

《Java並發編程的藝術》（方騰飛）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接: https://pan..com/s/1WUZl6mu4QtMdtaO0Et17gA

書名：Java並發編程的藝術

作者：方騰飛

豆瓣評分：7.4

出版社：機械工業出版社

出版年份：2015-7-1

頁數：240

內容簡介：

並發編程領域的扛鼎之作，作者是阿里和1號店的資深Java技術專家，對並發編程有非常深入的研究，《Java並發編程的藝術》是他們多年一線開發經驗的結晶。本書的部分內容在出版早期發表在Java並發編程網和InfoQ等技術社區，得到了非常高的評價。它選取了Java並發編程中最核心的技術進行講解，從JDK源碼、JVM、CPU等多角度全面剖析和講解了Java並發編程的框架、工具、原理和方法，對Java並發編程進行了最為深入和透徹的闡述。

《Java並發編程的藝術》內容涵蓋Java並發編程機制的底層實現原理、Java內存模型、Java並發編程基礎、Java中的鎖、並發容器和框架、原子類、並發工具類、線程池、Executor框架等主題，每個主題都做了深入的講解，同時通過實例介紹了如何應用這些技術。

作者簡介：

方騰飛（花名清英，英文名kiral），

螞蟻金服集團技術專家，從事Java開發近10年。5年以上的團隊管理、項目管理和敏捷開發經驗，崇尚團隊合作。曾參與CMS、電子海圖、SOC、ITIL、電子商務網站和信貸管理系統等項目。目前在螞蟻金服網商銀行貸款管理團隊負責數據採集平台開發工作。與同事合作開發了tala code Review插件，深受阿里數千名工程師擁躉，並開發過開源工具jdbcutil（https://github.com/kiral/utils）。創辦了並發編程網，組織翻譯了百餘篇國外優秀技術文章，並曾為InfoQ撰寫「聊聊並發」專欄，在《程序員》雜志撰寫敏捷實踐系列文章

魏鵬，

阿里巴巴集團技術專家，在阿里巴巴中國網站技術部工作多年，曾擔任中國網站交易平台架構師，主導了交易系統服務化工作，設計實現的數據遷移系統高效地完成了阿里巴巴中國網站交易數據到阿里巴巴集團的遷移工作。目前在阿里巴巴共享業務事業部從事Java應用容器Pandora和服務框架HSF的相關工作，其中Java應用容器Pandora是阿里巴巴中間件運行的基礎，而服務框架HSF則是阿里巴巴集團實現服務化的主要解決方案，二者在阿里巴巴擁有最為廣泛的使用量。個人平時喜歡閱讀技術書籍，翻譯一些國外優秀文檔，喜歡總結、樂於分享，對Java應用容器、多線程編程以及分布式系統感興趣。

程曉明，

1號店資深架構師，從事1號店交易平台系統的開發，技術上關注並發與NIO。因5年前遇到的一個線上故障，解決過程中對Java並發編程產生了濃厚的興趣，從此開始了漫長的探索之旅：從底層實現機制、內存模型到Java同步。縱觀我自己對Java並發的學習過程，是一個從高層到底層再到高層的一個反復迭代的過程，我估計很多讀者的學習過程應該與我類似。文章多見諸《IBM developerWorks》、InfoQ和《程序員》雜志。

⑧ GPU並行編程：如何啟動多維塊

首先，我們需要使用CUDA C庫中的一個關鍵詞定義我們的變數：

dim3 multiBlockArray(X,Y);

你可能要問，為什麼是dim3呢?因為將來CUDA C也可能會支持三維數組，但現在它只是留作備用的，因此當你創建數組時，你只要指定x和y軸的維度，然後第三軸自動被設置為1。

實現我們的實驗方案

首先，包括stdio.h和定義塊數組大小：

#include<stdio.h>
#defineBLOCKS 10
Next, we create our main-function.
intmain(void)
{

然後定義一個二維數組，一個從GPU拷貝出或拷貝到GPU指針，以及我們的dim3變數：

inthostArray[BLOCKS][BLOCKS];
int*deviceArray;

接下來，我們給數組分配在設備上需要的內存，正如你所看到的，我們要處理一個二維數組，使用BLOCKS*BLOCKS分配內存：

cudaMalloc( (void**)&deviceArray, BLOCKS*BLOCKS*sizeof(int) );
cudaMemcpy( deviceArray,
hostArray, BLOCKS*BLOCKS*sizeof(int),
cudaMemcpyHostToDevice );

獲得設備上的空間後，我們開始啟動內核，在GPU上執行計算任務。

generateArray<<<multiBlockArray,1>>>( deviceArray );

這里唯一的不同是，我們傳遞了multiBlockArray參數，它就是我們前面提到的我們想要運行的塊數。

接下來我們拷貝GPU上的數組到主機，這樣我們才能顯示它：

cudaMemcpy( hostArray,
deviceArray,
BLOCKS*BLOCKS*sizeof(int),
cudaMemcpyDeviceToHost );
for(inti=0; i<BLOCKS; i++)
{
printf( 「Thread ID running:%d」, hostArray[0][i] );
for(intj=1; j<BLOCKS; j++)
{
printf( 」%d」, hostArray[j][i] );
}
printf( 「 」 );
}
cudaFree( deviceArray );

這里也沒什麼要說的，除了我們現在也從設備拷貝BLOCKS*BLOCKS外，我們也要遍歷每個塊，列印出它們的內容。

最後不要忘了main函數的結束括弧「}」。

現在，我們添加內核：

__global__voidgenerateArray(int*hostArray )
{
intThreadIndex=blockIdx.x+blockIdx.y*gridDim.x;
hostArray[ThreadIndex]=ThreadIndex;
}

看起來和前面的完全一樣，blockId.x用於獲得在x維度上工作的塊，blockId.y用於獲得在y維度上工作的塊，girdDim是我們網格維度的最大長度，.x表示x軸，.y表示y軸，和創建塊數組指定的數字是一樣的。

如果運行這個例子，你將看到類似下圖所示的結果：

▲圖 2 運行結果

正如你看到的，有很多不同的情景使用多維索引更好，另一個例子是，當你處理二維圖像時，你可以在相同的坐標系統為每個像素創建一個塊，如下圖所示。

⑨ 《R並行編程實戰》epub下載在線閱讀全文，求百度網盤雲資源

《R並行編程實戰》（（美）西蒙 R.查普爾（Simon R.Chapple））電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/1RLlporkNQEi-3P14d5n5tw

書名:R並行編程實戰

作者:（美）西蒙 R.查普爾（Simon R.Chapple）

出版社:機械工業出版社

出版時間:2017年11月

內容簡介

本書是一本構建大規模高效演算法的綜合性實用書籍，介紹各種並行技術，從R語言的並行版本lapply()的簡單應用到基於Hadoop和ApacheSpark框架的高級AWS雲。在本書的後，你將了解到影響並行效率的因素，包括：評估代碼性能和實現負載平衡；要避免的陷阱，包括死鎖和數值不穩定問題；對於你的項目，如何為適合的並行類型構建代碼和數據；如何在各種計算機系統中運行R代碼獲取佳性能。本書針對那些想要超越單線程和內存限制的R程序員，使其從中學習如何實現高效大規模演算法，這是對大數據高性能處理的必要條件。

作者簡介

About the Authors 關於作者西蒙R. 查普爾（Simon R. Chapple）是一位經驗豐富的解決方案架構師和首席軟體工程師，從事數據分析和醫療信息系統解決方案和應用的開發超過25年。他也是超級計算機HPC和大數據處理方面的專家。
Simon是Datalytics科技有限公司的首席技術官和管理合夥人，帶領一個團隊建設下一代大規模數據分析平台，該平台建立在一組由高性能工具、框架和系統所構成的可定製的工具集合基礎上，可以使從數據採集、分析到呈現的整個實時處理周期，輕松地部署到任何已有的IT操作環境中。
此前，他在Aridhia信息公司擔任產品創新總監，為蘇格蘭的醫療服務供應商建立了多個新系統，包括為蘇格蘭18周轉診治療和癌症患者的管理而提供的一體化病人路徑跟蹤系統，該系統應用了10個單獨數據系統的集成（減少病人等待時間，從而提供好的服務）。他還利用公共雲託管監測系統，為實時化療患者建立了專門的移動系統，該系統在澳大利亞進行了臨床試驗，受到護士和病人的高度贊揚，「就像在你的起居室里有一位護士……希望所有的化療病人每天都有天使般的安全舒適的護理環境。」
Simon也是ROpenCL開源軟體包的作者之一，該添加包使得用R編寫的統計程序可以應用圖形加速器晶元中的並行計算能力。